一、提出任务
- 已知有以下用户访问历史数据,第一列为用户访问网站的日期,第二列为用户名:
2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian
现需要根据上述数据统计每日新增的用户数量,期望统计结果:
2022-01-01,
3 2022-01-02,
1 2022-01-03,2
预备工作:启动集群的HDFS与Spark
在虚拟机创建user.txt文件
将user.txt上传到HDFS/input目录下
执行spark-shell命令
二、完成任务
(一)读取文件,得到RDD
- 执行命令:val rdd = sc.textFile(“hdfs://master:9000/input/user.txt”)
二)倒排,互换RDD中元组的元素顺序
val rdd1 = rdd.map( line => { val fields = line.split(",") (fields(1),fields(0)) } )
(三)倒排后的RDD按键分组
执行命令: rdd2.collect.foreach(println)
(四)取分组后的日期集合最小值,计数为1
执行命令:val rdd3 = rdd2.map(line => (line._2.min,1))
(五)按键计数,得到每日新增用户数
执行命令:val result = rdd3.countByKey()
执行命令:result.keys.foreach(key => println(key + “,” + result(key)))
(六)让输出结果按日期升序
映射不能直接排序,只能让键集转成列表之后先排序,再遍历键集输出映射
执行命令:val keys = result.keys.toList.sorted,让键集升序排列