MapReduce案例之聚合求和

在这个案例中,我们要实现的是统计每个用户(以手机号作为用户标识)过去几个月分别在数码、出行、餐饮方面的支出之和,也就是将每个月的数码支出进行求和,出行支出求和,餐饮方面求和,最后得出3个值。

  • 准备数据

 将数据上传至服务器:

[root@hadoop01 test_data]# cat test_shopping.txt
15525535555,03,2890,437,1495
16626636666,05,1264,308,1677
16626636666,03,530,259,2174
15525535555,05,1088,372,1726
16626636666,04,754,417,1586

将数据文件上传至HDFS:

[root@hadoop01 test_jar]# hdfs dfs -mkdir /test_shopping_input
[root@hadoop01 test_jar]# cd ../
[root@hadoop01 hadoop-2.7.5]# cd ../test_data/
[root@hadoop01 test_data]# hdfs dfs -put test_shopping.txt /test_shopping_input

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
在这里提供了三个MapReduce案例的代码。第一个案例是WordCountMapper.java,它是一个用于计算单词频率的Mapper类。它的输入是LongWritable类型的key和Text类型的value,输出是Text类型的key和IntWritable类型的value。在map方法中,它首先将输入的value转换为字符串,然后将字符串按空格切割成单词数组,接着循环遍历每个单词,将单词封装到outK中,并将outK和outV写出到上下文中。\[1\] 第二个案例是FlowMapper.java,它是一个用于计算流量的Mapper类。它的输入也是LongWritable类型的key和Text类型的value,输出是Text类型的key和FlowBean类型的value。在map方法中,它首先将输入的value转换为字符串,然后按制表符切割字符串,抓取所需的数据,包括手机号、上行流量和下行流量。接着将这些数据封装到outK和outV中,并将其写出到上下文中。\[2\] 第三个案例是WordCountReducer.java,它是一个用于计算单词频率的Reducer类。它的输入是Text类型的key和IntWritable类型的value,输出也是Text类型的key和IntWritable类型的value。在reduce方法中,它对输入的values进行累加,然后将累加结果封装到outV中,并将key和outV写出到上下文中。\[3\] #### 引用[.reference_title] - *1* *2* *3* [MapReduce基本案例](https://blog.csdn.net/qq_49485313/article/details/120909915)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

QYHuiiQ

听说打赏的人工资翻倍~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值