Spark rdd统计每日新增用户

在虚拟机创建user.txt文件

 

将user.txt上传到HDFS/input目录下

 

 执行spark-shell命令

 读取文件，得到RDD

• 执行命令：val rdd = sc.textFile(“hdfs://master:9000/input/user.txt”)
• 

 倒排，互换RDD中元组的元素顺序

 倒排后的RDD按键分组

执行命令： rdd2.collect.foreach(println)

 

取分组后的日期集合最小值，计数为1

执行命令：val rdd3 = rdd2.map(line => (line._2.min,1)) 

按键计数，得到每日新增用户数 

：

• 执行命令：val result = rdd3.countByKey()
• 执行命令：result.keys.foreach(key => println(key + “,” + result(key)))

让输出结果按日期升序

执行命令：val keys = result.keys.toList.sorted，让键集升序排列