![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
小二强
相互学习,相互交流 QQ:330937263 微信:varyng
展开
-
hadoop setSortComparatorClass和setGroupingComparatorClass的作用及异同
Reduce的原理:在reduce阶段,reducer接收到所有映射到这个reducer的map输出后,也是会调用job.setSortComparatorClass设置的key比较函数类对所有数据对排序。然后开始构造 一个key对应的value迭代器。这时就要用到分组,使用jobjob.setGroupingComparatorClass设置的分组函数类。 也就是说 在reduce接受原创 2016-12-15 23:17:03 · 4725 阅读 · 5 评论 -
PIG: Exception in thread "main" java.io.IOException: Per
PIG: Exception in thread "main" java.io.IOException: Per (2013-06-11 04:47:25) 转载▼ 标签: pig hadoop permission it 分类: JAVA 新集群配置点工具,在运行PIG的时候报错转载 2016-12-16 09:36:49 · 686 阅读 · 0 评论