一、提出任务
- 已知有以下用户访问历史数据,第一列为用户访问网站的日期,第二列为用户名:
2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian
| | | |
---|
2022-01-01 | mike | alice | brown |
2022-01-02 | mike | alice | green |
2022-01-03 | alice | smith | brian |
- 现需要根据上述数据统计每日新增的用户数量,期望统计结果:
2022-01-01,3
2022-01-02,1
2022-01-03,2
- 即2022-01-01新增了3个用户(分别为mike、alice、brown),2022-01-02新增了1个用户(green),2022-01-03新增了两个用户(分别为smith、brian)。
二、实现思路
- 使用倒排索引法,若将用户名看作关键词,访问日期看作文档ID,则用户名与访问日期的映射关系如下图所示。
| 2022-01-01 | 2022-01-02 | 2022-01-3 |
---|
mike | √ | √ | |
alice | √ | √ | √ |
brown | √ | | |
green | | √ | |
smith | | | √ |
brian | | | √ |
- 若同一个用户对应多个访问日期,则最小的日期为该用户的注册日期,即新增日期,其他日期为重复访问日期,不应统计在内。因此每个用户应该只计算用户访问的最小日期即可。如下图所示,将每个用户访问的最小日期都移到第一列,第一列为有效数据,只统计第一列中每个日期的出现次数,即为对应日期的新增用户数。
| 列一 | 列二 | 列三 |
---|
mike | 2022-01-01 | 2022-01-02 | |
alice | 2022-01-01 | 2022-01-02 | 2022-01-03 |
brown | 2022-01-01 | | |
green | 2022-01-02 | | |
smith | 2022-01-03 | | |
brian | 2022-01-03 | | |
-
预备工作:启动集群的HDFS与Spark
-
在HDFS上准备数据 - users.txt
三、完成任务
(一)读取文件,得到RDD
- 启动Spark Shell,执行命令:
spark-shell --master spark://master:7077
- 执行命令:
val rdd1 = sc.textFile("hdfs://master:9000/input/users.txt")
- 执行命令:
rdd1.collect.foreach(println)
(二)倒排,互换RDD中元组的元素顺序
val rdd2 = rdd1.map(
line => {
val fields = line.split(",")
(fields(1), fields(0))
}
)
- 执行上述语句
(三)倒排后的RDD按键分组
- 执行命令:
val rdd3 = rdd2.groupByKey()
- 执行命令:
rdd3.collect.foreach(println)
(四)取分组后的日期集合最小值,计数为1
- 执行命令:
val rdd4 = rdd3.map(line => (line._2.min, 1))
- 执行命令:
rdd4.collect.foreach(println)
(五)按键计数,得到每日新增用户数
- 执行命令:
val result = rdd4.countByKey()
- 执行命令:
result.keys.foreach(key => println(key + "," + result(key)))
(六)让输出结果按日期升序
- 映射不能直接排序,只能让键集转成列表之后先排序,再遍历键集输出映射
- 执行命令:
val keys = result.keys.toList.sorted
,让键集升序排列 - 执行命令:
keys.foreach(key => println(key + "," + result(key)))