大数据之Hadoop(MapReduce)：MapReduce Shuffle的优化

最新推荐文章于 2023-10-27 11:01:01 发布

浊酒南街

最新推荐文章于 2023-10-27 11:01:01 发布

阅读量180

点赞数 1

分类专栏： # 大数据系列一

本文链接：https://blog.csdn.net/weixin_43597208/article/details/117672864

版权

大数据系列一专栏收录该内容

126 篇文章 1 订阅

订阅专栏

本文详细介绍了Hadoop MapReduce在Map阶段、Reduce阶段及IO传输层面的优化方法，包括增大环形缓冲区、调整溢写比例、合理设置Map和Reduce数量、采用数据压缩等。同时，还提到了整体优化建议，如根据服务器配置调整内存和CPU资源分配，以及增加Container的资源等，以提升集群效率。

摘要由CSDN通过智能技术生成

1.Map阶段优化

1.1.增大环形缓冲区大小;
1.2.增大环形缓冲区溢写的比例;
1.3.减少对溢写文件的merge次数;
1.4.不影响实际业务的前提下，采用Combiner提前合并，减少 I/O;

2.Reduce阶段

2.1:合理设置Map和Reduce数;
2.2:设置Map、Reduce共存;
2.3.增加每个Reduce去Map中拿数据的并行数;
2.4:集群性能可以的前提下，增大Reduce端存储数据内存的大小;

3.IO传输

采用数据压缩的方式，减少网络IO的的时间；
压缩：
（1）map输入端主要考虑数据量大小和切片，支持切片的有Bzip2、LZO。注意：LZO要想支持切片必须创建索引；
（2）map输出端主要考虑速度，速度快的snappy、LZO；
（3）reduce输出端主要看具体需求，例如作为下一个mr输入需要考虑切片，永久保存考虑压缩率比较大的gzip。

4.整体

（1）NodeManager默认内存8G，需要根据服务器实际配置灵活调整，例如128G内存，配置为100G内存左右，yarn.nodemanager.resource.memory-mb。
（2）单任务默认内存8G，需要根据该任务的数据量灵活调整，例如128m数据，配置1G内存，yarn.scheduler.maximum-allocation-mb。
（3）mapreduce.map.memory.mb ：控制分配给MapTask内存上限，如果超过会kill掉进程（报：Container is running beyond physical memory limits. Current usage:565MB of512MB physical memory used；Killing Container）。默认内存大小为1G，如果数据量是128m，正常不需要调整内存；如果数据量大于128m，可以增加MapTask内存，最大可以增加到4-5g。
（4）mapreduce.reduce.memory.mb：控制分配给ReduceTask内存上限。默认内存大小为1G，如果数据量是128m，正常不需要调整内存；如果数据量大于128m，可以增加ReduceTask内存大小为4-5g。
（5）mapreduce.map.java.opts：控制MapTask堆内存大小。（如果内存不够，报：java.lang.OutOfMemoryError）
（6）mapreduce.reduce.java.opts：控制ReduceTask堆内存大小。（如果内存不够，报：java.lang.OutOfMemoryError）
（7）可以增加MapTask的CPU核数，增加ReduceTask的CPU核数
（8）增加每个Container的CPU核数和内存大小
（9）在hdfs-site.xml文件中配置多目录
（10）NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为10台时，此参数设置为60。