- 博客(4)
- 收藏
- 关注
RSS订阅
原创 hadoop的优化
第一点 正确地配置你的Cluster（块大小、 分片大小、map端参数、reduce端参数） 第二点 使用LZO压缩 第三点 调整map和reducetask的数量到合适的值 第四点 为job添加一个Combiner 第五点 为你的数据使用最合适和简洁的Writable类型 第六点 重用Writable类型 第七点 使用简易的剖析方式查看task的运行
2014-11-23 13:50:47
359
原创 cestest
33333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333
2014-11-25 09:51:18
544
转载 hadoop比较器
WritableComparable接口 实现此接口的类可用于排序比较。对于MapReduce框架来说，中间阶段有排序，如果MapReduce作业没有设置SortComparatorClass；则MapReduce中KEY一定要实现此接口。 RawComparator接口 在MapTask的MapOutputBuffer中，其compare方法中可以看出每个参数的具体含义。
2014-11-23 13:59:12
522
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人