第2节 mapreduce深入学习:8、手机流量汇总求和
例子:MapReduce综合练习之上网流量统计。
数据格式参见资料夹
需求一:统计求和
统计每个手机号的上行流量总和,下行流量总和,上行总流量之和,下行总流量之和
分析:以手机号码作为key值,上行流量,下行流量,上行总流量,下行总流量四个字段作为value值,然后以这个key,和value作为map阶段的输出,reduce阶段的输入。
data_flow.dat内容类似下面的:
1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 游戏娱乐 24 27 2481 24681 200
字段说明:
注意:将相同手机号的数据放到一起,以手机号作为key2!
详见代码
运行结果类似于:
13480253104 上行流量=3, 下行流量=3, 上行总流量=180, 下行总流量=180