![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 54
屁屁熊
这个作者很懒,什么都没留下…
展开
-
hadoop pipes模式中combiner的使用
和streaming模式不同,pipes模式中提供的接口没有直接的Combiner Class定义,但是在他的TemplateFactory头文件中有一个 template <class mapper, class reducer, class partitioner, class combiner, class recordReader> class Te原创 2013-11-16 21:47:06 · 909 阅读 · 0 评论 -
部署hadoop时常见错误解决
1. 运行代码时Authenticate错误 进入hadoop安装目录的src目录下对pipes和utils重新编译, ./configure make install 第一步时会遇到提示没有找到libssl.so 确认/usr/lib/目录下有这个链接库,如果有的话直接在configure 报错那行注释掉exit,没有的话装一个openssl 然后编译hadoop代码时用sr原创 2013-11-16 21:49:27 · 682 阅读 · 0 评论 -
翻译规则词汇化概率用streaming实现的实例
使用combiner后能够减少io操作,700万左右的测试数据速度提高了1倍,数据更大提升效果更明显。 因为运算量较小,此处使用了streaming方式,性能和pipes相差不大。 mapper负责解析输入的对齐格式sourcetargetalignment combiner负责合并src和tgt的频度,减少给reduce带来的io负担 reduce负责count(src,tgt)/cou原创 2013-11-16 21:57:31 · 733 阅读 · 0 评论