MapReduce太慢了，记一次对它的调优建议。

最新推荐文章于 2023-08-30 23:09:33 发布

乔治大哥

最新推荐文章于 2023-08-30 23:09:33 发布

阅读量2.9k

点赞数

分类专栏： # bigdata_hadoop 文章标签：调优mapreduce

本文链接：https://blog.csdn.net/qq_41946557/article/details/103307361

版权

本文探讨了MapReduce的调优策略，包括在mapper和reducer中的代码优化，如利用combine减少网络输出和设置输出压缩。reducer调优涉及调整其数量以充分利用集群资源，同时考虑对特定MR程序的影响。此外，还介绍了runner调优，涵盖JVM参数、推测执行和压缩设置等，以提高MapReduce作业的效率。

摘要由CSDN通过智能技术生成

代码调优

代码调优，主要是mapper和reducer中，针对多次创建的对象，进行代码提出操作。这个和一般的java程序的代码调优一样。

mapper调优

   mapper调优主要就是就一个目标：减少输出量。我们可以通过增加combine阶段以及对输出进行压缩设置进行mapper调优。
   combine介绍：
       实现自定义combine要求继承reducer类，特点：
       以map的输出key/value键值对作为输入输出键值对，作用是减少网络输出，在map节点上就合并一部分数据。
       比较适合，map的输出是数值型的，方便进行统计。
   压缩设置：
       在提交job的时候分别设置启动压缩和指定压缩方式。

reducer调优

   reducer调优主要是通过参数调优和设置reducer的个数来完成。
   reducer个数调优：
       要求：一个reducer和多个reducer的执行结果一致，不能因为多个reducer导致执行结果异常。
       规则：一般要求在hadoop集群中的执行mr程序，map执行完成100%后，尽量早的看到reducer执行到33%，可以通过命令hadoop job -status job_id或者web页面来查看。
           原因： map的执行process数是通过inputformat返回recordread来定义的；而