大数据平台复习四.实现conbiner和统计单词总个数以及总结

在这里插入图片描述
在这里插入图片描述

Combine 这个类它继承的是reducer 在单个词频统计这个任务中和reducer除了名字外几乎没有不同的地方。

Combiner继承于Reducer类,但是二者还是有区别的
Combiner只适用于“小数据集的计算结果可以加快在大数据集之上同样的计算”这样的任务类型,比如求和、取最大、最小
当对于求和、取最大和最小这样的Combiner适合的计算任务,可以直接使用Reducer类来当Combiner
Combiner并一定都需要,而Reducer一般都有
在这里插入图片描述

二.实现统计文本的单词总个数

把第一个mapreduce 的结果作为第二个mapreduce的输入,这里再写一个mapper。
本人最开始的mapper类写法。把整个whilez都注释掉了,没有注意到context write 那个操作也被注释掉了,结果就是,程序跑下来没有报错,但是第二个job的输出是空的什么都没有。在这里插入图片描述
后来发现没有write进去任何东西,修改。在这里插入图片描述
设置第一个job的输出作为第二个job的输入。
注意这里还有个坑,一开始的时候我把第一个job写完后把system exit也写在了后面,这样的后果就是第二个job根本就没有执行!!!
System exit只能写一个返回最后一个job的执行结果就好,写在前面就是直接中断了后面程序的执行。在这里插入图片描述
结果
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值