Spark RDD 案例：统计每日新增用户

目录

一、提出任务

二、实现思路

三、完成任务

（一）读取文件，得到RDD

（二）倒排，互换RDD中元组的元素顺序 

（三）倒排后的RDD按键分组

（四）取分组后的日期集合最小值，计数为1

（五）按键计数，得到每日新增用户数

二、完成任务

（一）新建Maven项目

（二）添加相关依赖和构建插件

（三）创建日志属性文件

（四）创建每日新增用户单例对象

---

一、提出任务

• 已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名：

2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian

2022-01-01	mike	alice	browm
2022-01-02	mike	alice	green
2022-01-03	alice	smith	brian

• 现需要根据上述数据统计每日新增的用户数量，期望统计结果：

2022-01-01,3
2022-01-02,1
2022-01-03,2

• 即2022-01-01新增了3个用户（分别为mike、alice、brown），2022-01-02新增了1个用户（green），2022-01-03新增了两个用户（分别为smith、brian）。

二、实现思路

• 使用倒排索引法，若将用户名看作关键词，访问日期看作文档ID，则用户名与访问日期的映射关系如下图所示。

• 若同一个用户对应多个访问日期，则最小的日期为该用户的注册日期，即新增日期，其他日期为重复访问日期，不应统计在内。因此每个用户应该只计算用户访问的最小日期即可。如下图所示，将每个用户访问的最小日期都移到第一列，第一列为有效数据，只统计第一列中每个日期的出现次数，即为对应日期的新增用户数。

•  预备工作：启动集群的HDFS与Spark

• 在HDFS上准备数据 - user.txt

三、完成任务

（一）读取文件，得到RDD

• 执行命令：val rdd1 = sc.textFile("hdfs://master:9000/input/user.txt")

（二）倒排，互换RDD中元组的元素顺序 

val rdd2 = rdd1.map(
   line =>