提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
一、提出任务
- 已知有以下用户访问历史数据,第一列为用户访问网站的日期,第二列为用户名:
2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian
- 现需要根据上述数据统计每日新增的用户数量,期望统计结果:
2022-01-01,3
2022-01-02,1
2022-01-03,2
二、完成任务
- 预备工作:启动集群的HDFS与Spark
- 在HDFS上准备数据 -
users.txt
(一)读取文件,得到RDD
- 执行命令:
val rdd1 = sc.textFile("hdfs://master:9000/input/users.txt")
(二)倒排,互换RDD中元组的元素顺序
val rdd2 = rdd1.map(
line => {
val fields = line.split(",")
(fields(1), fields(0))
}
)
- 执行上述语句
(三)倒排后的RDD按键分组
- 执行命令:
val rdd3 = rdd2.groupByKey()
(四)取分组后的日期集合最小值,计数为1
- 执行命令:
val rdd4 = rdd3.map(line => (line._2.min, 1))
(五)按键计数,得到每日新增用户数
- 执行命令:
val result = rdd4.countByKey()
- 执行命令:
result.keys.foreach(key => println(key + "," + result(key)))
(六)让输出结果按日期升序
- 映射不能直接排序,只能让键集转成列表之后先排序,再遍历键集输出映射
- 执行命令:
val keys = result.keys.toList.sorted
,让键集升序排列