超越的博客

陶瓷兔子说:你如何过一天,便如何过一辈子!

hadoop开发优化总结
1、MapReduce数据压缩:
1)压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。
在Hadood下,尤其是数据规模很大和工作负载密集的情况下,使用数据压缩显得非常重要。
在这种情况下,I/O操作和网络数据传输要花大量的时间。还有,Shuffle与Merge过程同样也面临着巨大的I/O压力。
***压缩mapreduce的一种优化策略:通过压缩编码对mapper或者reducer的输出进行压缩,以减少磁盘IO,提高MR程序运行速度(但相应增加了cpu运算负担)。
注意:压缩特性运用得当能提高性能,但运用不当也可能降低性能。
基本原则:
(1)运算密集型的job,少用压缩
(2)IO密集型的job,多用压缩
2)hadoop默认不支持多种压缩格式,需要重新编译后才可以
MR支持的压缩编码: 1、压缩格式:推荐用Snappy
* DEFAULT : .default(文件不可切分) : org.apache.hadoop.io.compress.DefaultCodec
* Snappy  : .snappy (文件不可切分,用的比较多些) : org.apache.hadoop.io.compress.SnappyCodec
* bzip2   : .bz2 (文件可切分) : org.apache.hadoop.io.compress.BZip2Codec
3)配置方式
* core-default.xml
* mapred-default.xml

2、Combiner局部汇总:
对每一个maptask的输出进行局部汇总,以减小网络传输量

3、DistributedCache缓存
数据倾斜原因: 如果是多张表的操作都是在reduce阶段完成,reduce端的处理压力太大,map节点的运算负载则很低,资源利用率不高,且在reduce阶段极易产生数据倾斜。
(1)在mapper的setup阶段,将文件读取到缓存集合中
(2)在驱动函数中加载缓存。
job.addCacheFile(new URI("file:/e:/mapjoincache/pd.txt"));// 缓存普通文件到task运行节点
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cyjch/article/details/80345886
个人分类: 大数据
想对作者说点什么? 我来说一句

Hadoop学习总结

2016年06月08日 1.92MB 下载

没有更多推荐了,返回首页

不良信息举报

hadoop开发优化总结

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭