Spark RDD: 统计每日新增用户

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、提出任务

• 已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名：

2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian

• 现需要根据上述数据统计每日新增的用户数量，期望统计结果：

2022-01-01,3
2022-01-02,1
2022-01-03,2

二、完成任务

• 预备工作：启动集群的HDFS与Spark

• 在HDFS上准备数据 - users.txt

（一）读取文件，得到RDD

• 执行命令：val rdd1 = sc.textFile("hdfs://master:9000/input/users.txt")

（二）倒排，互换RDD中元组的元素顺序

val rdd2 = rdd1.map(
   line => {
     val fields = line.split(",")
      (fields(1), fields(0))
   }
)

• 执行上述语句

（三）倒排后的RDD按键分组

• 执行命令：val rdd3 = rdd2.groupByKey()

（四）取分组后的日期集合最小值，计数为1

• 执行命令：val rdd4 = rdd3.map(line => (line._2.min, 1))

（五）按键计数，得到每日新增用户数

• 执行命令：val result = rdd4.countByKey()
• 执行命令：result.keys.foreach(key => println(key + "," + result(key)))

（六）让输出结果按日期升序

• 映射不能直接排序，只能让键集转成列表之后先排序，再遍历键集输出映射
• 执行命令：val keys = result.keys.toList.sorted，让键集升序排列