预备工作:启动集群的HDFS与Spark
在HDFS上准备数据 - users.txt
(一)读取文件,得到RDD
- 执行命令:
val rdd1 = sc.textFile("hdfs://master:9000/input/users.txt")
(二)倒排,互换RDD中元组的元素顺序
(三)倒排后的RDD按键分组
- 执行命令:
val rdd3 = rdd2.groupByKey()
(四)取分组后的日期集合最小值,计数为1
- 执行命令:
val rdd4 = rdd3.map(line => (line._2.min, 1))
(五)按键计数,得到每日新增用户数
- 执行命令:
val result = rdd4.countByKey()
- 执行命令:
result.keys.foreach(key => println(key + "," + result(key)))
(六)让输出结果按日期升序
- 映射不能直接排序,只能让键集转成列表之后先排序,再遍历键集输出映射
- 执行命令:
val keys = result.keys.toList.sorted
,让键集升序排列