Spark RDD案例:统计每日新增用户

预备工作:启动集群的HDFS与Spark

在HDFS上准备数据 - users.txt

(一)读取文件,得到RDD

  • 执行命令:val rdd1 = sc.textFile("hdfs://master:9000/input/users.txt")

(二)倒排,互换RDD中元组的元素顺序

(三)倒排后的RDD按键分组

  • 执行命令:val rdd3 = rdd2.groupByKey()

(四)取分组后的日期集合最小值,计数为1

  • 执行命令:val rdd4 = rdd3.map(line => (line._2.min, 1))

(五)按键计数,得到每日新增用户数

  • 执行命令:val result = rdd4.countByKey()
  • 执行命令:result.keys.foreach(key => println(key + "," + result(key)))

(六)让输出结果按日期升序

  • 映射不能直接排序,只能让键集转成列表之后先排序,再遍历键集输出映射
  • 执行命令:val keys = result.keys.toList.sorted,让键集升序排列

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值