Hadoop(MapReduce)性能优化

前言

我们时常谈论说到MapReduce时，我们都会说它是离线计算框架，磁盘IO开销大，job运行比较慢等等。
这一篇博客，南国系统回顾下mr程序运行慢的原因，以及如何优化mr程序。

MapReduce运行慢的原因

我们都知道MapReduce是离线计算框架，不同于Spark内存计算框架模型。一个标准的mr程序由map方法和reduce方法构成，数据源在map方法前输入，map方法的输出结果放在磁盘中 由shuffle阶段进行处理后输入到reduce方法，最后reduce方法的输出作为mr程序的整个结果输出保存到HDFS中。

在这个过程中，MapReduce程序的性能瓶颈在于两点：

• 机器性能
  它包括cpu、内存、磁盘以及网络
• IO操作
  在频繁的IO操作中，他可能会存在以下一些问题：
  数据倾斜；
  map和reduce个数设置不合理:
  reduce等待过久；
  小文件过多；
  有大量的不可分块的超大文件；
  spill次数过多；
  merge次数过多等。

MapReduce优化方法

1. 数据输入

• 合并小文件：在执行mr任务前将小文件进行合并，因为大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。
• 采用CombineFileInputFormat来作为输入，解决输入端大量小文件场景。

2. map阶段

• 减少spill次数：通过调整io.sort.mb及sort.spill.percent参数值，增大触发spill的内存上限，减少spill次数，从而减少磁盘 IO。
• 减少merge次数：通过调整io.sort.factor参数，增大merge的文件数目，减少merge的次数，从而缩短mr处理时间。
• 在 map 之后先进行combine处理，减少 I/O。

3. reduce阶段

• 合理设置map和reduce数：两个都不能设置太少，也不能设置太多。太少，会导致task等待，延长处理时间；太多，会导致 map、reduce任务间竞争资源，造成处理超时等错误。
• 设置map、reduce共存：调整slowstart.completedmaps参数，使map运行到一定程度后，reduce也开始运行，减少reduce的等待时间。
• 规避使用reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
• 合理设置reduc端的buffer，默认情况下，数据达到一个阈值的时候，buffer中的数据就会写入磁盘，然后reduce会从磁盘中获得所有的数据。也就是说，buffer和reduce是没有直接关联的，中间多个一个写磁盘->读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得buffer中的一部分数据可以直接输送到reduce，从而减少IO开销：mapred.job.reduce.input.buffer.percent，默认为0.0。当值大于0的时候，会保留指定比例的内存读buffer中的数据直接拿给reduce使用。这样一来，设置buffer需要内存，读取数据需要内存，reduce计算也要内存，所以要根据作业的运行情况进行调整。

4. IO传输

• 采用数据压缩的方式，减少网络IO的时间。例如安装Snappy和LZOP压缩编码器。
• 使用SequenceFile二进制文件。

5. 数据倾斜问题

这一部分内容，南国在之前的博客Hadoop处理数据倾斜中有讲述到。
其实除此之外，开发者还可以在配置文件中进行参数调优，例如mapred-default.xml，yarn-default.xml。

HDFS小文件的优化方法

在上文，南国讲述MapReduce优化方法时提到过数据输入阶段的合并小文件。我们知道，MapReduce的数据源一般来自于HDFS，所以 这里也着重讲一下HDFS小文件的弊端和解决方案。

1. HDFS的小文件弊端

HDFS上每个文件都要在namenode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用namenode的内存空间，另一方面就是索引文件过大是的索引速度变慢。

2. 解决的方式

1.Hadoop本身提供了一些文件压缩的方案。
2.根本解决方式：进行小文件的合并，然后建立比较快速的索引。

• Hadoop Archive:这是一个高效的将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样在减少namenode内存使用的时间。
• Sequence file: 它由一系列的二进制key/value组成。如果为key小文件名，value为文件内容，则可以将大批文件合并成为一个大文件。
• CombineFileInputFormat是一种新的InputFormat，用于将多个文件合并成一个单独的split,另外他会考虑数据的存储位置。