关于ChainMapper的测试

hadoop api提供有ChainMapper和ChainReducer链式处理数据的接口,ChainMapper在一个map节点可以执行多个mapper逻辑,他们像unix管道一样,前一个map的输出作为后一个map的输入,直到最后一个map输出作为partition的输入,然后到reduce节点。而ChainReducer则不能从字面意义上理解为多个reduce连接起来处理数据,ChainReducer是在reducer处理完成后添加map逻辑,实现reduce函数处理完成后的其它数据处理逻辑。

ChainReducer的优点:更好利用reduce节点,方便实现reduce输出后的其它数据处理逻辑。

ChainMapper的优点:api上描述为更好利用io,不过多个map连接起来的逻辑不能在同一个map节点里面实现吗?不很确定。

http://blog.csdn.net/lmc_wy/article/details/8013528


http://www.oratea.net/?p=371

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值