Hadoop(MapReduce)性能优化

前言

我们时常谈论说到MapReduce时，我们都会说它是离线计算框架，磁盘IO开销大，job运行比较慢等等。
这一篇博客，南国系统回顾下mr程序运行慢的原因，以及如何优化mr程序。

MapReduce运行慢的原因

我们都知道MapReduce是离线计算框架，不同于Spark内存计算框架模型。一个标准的mr程序由map方法和reduce方法构成，数据源在map方法前输入，map方法的输出结果放在磁盘中 由shuffle阶段进行处理后输入到reduce方法，最后reduce方法的输出作为mr程序的整个结果输出保存到HDFS中。

在这个过程中，MapReduce程序的性能瓶颈在于两点：

• 机器性能
  它包括cpu、内存、磁盘以及网络
• IO操作
  在频繁的IO操作中，他可能会存在以下一些问题：
  数据倾斜；
  map和reduce个数设置不合理:
  reduce等待过久；
  小文件过多；
  有大量的不可分块的超大文件；
  spill次数过多；
  merge次数过多等。

MapReduce优化方法

1. 数据输入

• 合并小文件：在执行mr任务前将小文件进行合并，因为大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。
• 采用CombineFileInputFormat来作为输入，解决输入端大量小文件场景。