Spark RDD交互式案例统计每日新增长用户

文章目录

    一、提出任务
    二、完成任务
            （一）读取文件，得到RDD
            （二）倒排，互换RDD中元组的元素顺序
            （三）倒排后的RDD按键分组
            （四）取分组后的日期集合最小值，计数为1
            （五）按键计数，得到每日新增用户数
            （六）让输出结果按日期升序

一、提出任务

    已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名：

现需要根据上述数据统计每日新增的用户数量，期望统计结果： 

 

预备工作：启动集群的HDFS与Spark 

在虚拟机创建user.txt文件 

 将user.txt上传到HDFS/input目录下

 

 执行spark-shell命令

 

二、完成任务

（一）读取文件，得到RDD

• 执行命令：val rdd = sc.textFile(“hdfs://master:9000/input/user.txt”)

 （二）倒排，互换RDD中元组的元素顺序

 

（三）倒排后的RDD按键分组

• 执行命令： rdd2.collect.foreach(println)

 

 

（四）取分组后的日期集合最小值，计数为1

• 执行命令：val rdd3 = rdd2.map(line => (line._2.min,1))

（五）按键计数，得到每日新增用户数

    执行命令：val result = rdd3.countByKey()
    执行命令：result.keys.foreach(key => println(key + “,” + result(key)))

（六）让输出结果按日期升序

    映射不能直接排序，只能让键集转成列表之后先排序，再遍历键集输出映射
    执行命令：val keys = result.keys.toList.sorted，让键集升序排列