一、提出任务
- 已知有以下用户访问历史数据,第一列为用户访问网站的日期,第二列为用户名:
2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian
- 现需要根据上述数据统计每日新增的用户数量,期望统计结果:
2022-01-01,3
2022-01-02,1
2022-01-03,2
- 即2022-01-01新增了3个用户(分别为mike、alice、brown),2022-01-02新增了1个用户(green),2022-01-03新增了两个用户(分别为smith、brian)。
二、实现思路
- 使用倒排索引法,若将用户名看作关键词,访问日期看作文档ID,则用户名与访问日期的映射关系如下图所示。
![在这里插入图片描述](https://img-blog.csdnimg.cn/5551a7ae94754de7b4fc338c1422834e.png)
- 若同一个用户对应多个访问日期,则最小的日期为该用户的注册日期,即新增日期,其他日期为重复访问日期,不应统计在内。因此每个用户应该只计算用户访问的最小日期即可。如下图所示,将每个用户访问的最小日期都移到第一列,第一列为有效数据,只统计第一列中每个日期的出现次数,即为对应日期的新增用户数。
![在这里插入图片描述](https://img-blog.csdnimg.cn/a55bb96dab0c4cffb08619eaec4e225c.png)
- 预备工作:启动集群的HDFS与Spark
![在这里插入图片描述](https://img-blog.csdnimg.cn/1e2133ad4a184649bde31dfeed91c606.png)
- 在HDFS上准备数据 - users.txt
![在这里插入图片描述](https://img-blog.csdnimg.cn/c91ca46700e24dc4a84afed7a0a21246.png)
三、完成任务
(一)读取文件,得到RDD
- 执行命令:val rdd1 = sc.textFile(“hdfs://master:9000/input/users.txt”)
![在这里插入图片描述](https://img-blog.csdnimg.cn/60a749dd9e7a46dd919fb68aa576a54c.png)
(二)倒排,互换RDD中元组的元素顺序
val rdd2 = rdd1.map(
line => {
val fields = line.split(",")
(fields(1), fields(0))
}
)
- 执行上述语句
![在这里插入图片描述](https://img-blog.csdnimg.cn/c7ab7562e61a4bcc8d5d0c9f000ed6c7.png)
(三)倒排后的RDD按键分组
- 执行命令:val rdd3 = rdd2.groupByKey()
![在这里插入图片描述](https://img-blog.csdnimg.cn/b61542b01eaa413ea2281d3df2de1554.png)
(四)取分组后的日期集合最小值,计数为1
- 执行命令:val rdd4 = rdd3.map(line => (line._2.min, 1))
![在这里插入图片描述](https://img-blog.csdnimg.cn/e19afbe29b714b3d8ba02a6a3b7a6e65.png)
(五)按键计数,得到每日新增用户数
- 执行命令:val result = rdd4.countByKey()
- 执行命令:result.keys.foreach(key => println(key + “,” + result(key)))
![在这里插入图片描述](https://img-blog.csdnimg.cn/3f2849638e5044809610fa5c67d99ec9.png)
(六)让输出结果按日期升序
- 映射不能直接排序,只能让键集转成列表之后先排序,再遍历键集输出映射
- 执行命令:val keys = result.keys.toList.sorted,让键集升序排列
![在这里插入图片描述](https://img-blog.csdnimg.cn/a9f48a98cbf74e9181207ba64d809494.png)