![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
yiluxiangbei2018it
精通java,熟悉python;大数据有诸多研究特别是以hadoop为生态圈的数据仓库系统比如hive、hbase、spark、storm等技术
常年在互联网公司对互联网交了解。
展开
-
hadoop的优化
第一点 正确地配置你的Cluster(块大小、 分片大小、map端参数、reduce端参数) 第二点 使用LZO压缩 第三点 调整map和reducetask的数量到合适的值 第四点 为job添加一个Combiner 第五点 为你的数据使用最合适和简洁的Writable类型 第六点 重用Writable类型 第七点 使用简易的剖析方式查看task的运行原创 2014-11-23 13:50:47 · 359 阅读 · 0 评论 -
hadoop比较器
WritableComparable接口 实现此接口的类可用于排序比较。对于MapReduce框架来说,中间阶段有排序,如果MapReduce作业没有设置SortComparatorClass;则MapReduce中KEY一定要实现此接口。 RawComparator接口 在MapTask的MapOutputBuffer中,其compare方法中可以看出每个参数的具体含义。转载 2014-11-23 13:59:12 · 522 阅读 · 0 评论 -
cestest
33333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333原创 2014-11-25 09:51:18 · 544 阅读 · 0 评论