MapReduce的优化

MapReduce跑的慢的原因

MapReduce程序效率的瓶颈在于两点:
1.计算机性能
CPU、内存、磁盘健康、网络
2. I/O 操作优化
(1)数据倾斜
(2) Map和Reduce数设置不合理
(3) Map运行时间太长,导致Reduce等待过久
(4)小文件过多
(5)大量的不可分块的超大文件
(6) Spill次数过多
(7) Merge次数过多等。

MapReduce优化方法

MapReduce计算模型的优化主要集中在两个方面：一是计算性能方面的优化；二是I/O操作方面的优化。这其中，主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

1.数据输入

(1)合并小文件:在执行MR任务前将小文件进行合并，大的小文件会
产生大量的Map任务,增大Map任务装载次数,而任务的装载比较耗时,从而
导致MR运行较慢。
(2)采用ConbineTextInputFormat来作为输入，解决输入端大量小文件场景。

2. Map阶段

(1)减少溢写(Spill) 次数:通过调整io.sort.mb及sort.spill.percent参数
值，增大触发Spill的内存上限，减少Spill次数, 从而减少磁盘IO。
(2)减少合并(Merge) 次数:通过调整io.sort. factor参数,增大Merge的
文件数目，减少Merge的次数,从而缩短MR处理时间。
(3)在Map之后，不影响业务逻辑前提下，先进行Combine处理，减少I/O。

3. Reduce阶段

(1)合理设置Map和Reduce数:两个都不能设置太少，也不能设置太多。
太少，会导致Task等待,延长处理时间;太多,会导致Map、 Reduce任务间竞
争资源，造成处理超时等错误。
(2)设置Map、Reduce共存:调整slowstart completedmaps参数,使Map运
行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。
(3)规避使用Reduce:因为Reduce在用于连接数据集的时候将会产生大量
的网络消耗。
(4)合理设置Reduce端的Buffer:默认情况下，数据达到一个阈值的时候，
Buffer中的数据就会写入磁盘，然后Reduce会从磁盘中获得所有的数据。也就是说，Buffer和Reduce是没有直接关联的，中间多次写磁盘->读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得Buffer中的一部分数据可以直接输送到Reduce,从而减少IO开销:
mapreduce.reduce. input.buffer.percent,默认为 0.0。当值大于0的时候，会保留指定比例的内存读Buffer中的数据直接拿给 Reduce使用。这样一来，设置Buffer需要内存，读取数据需要内存, Reduce计算 也要内存，所以要根据作业的运行情况进行调整。

4. IO传输

(1)采用数据压缩的方式，减少网络Io的的时间。安装Snappy和LZO压缩编
码器。
(2)使用SequenceFile2 进制文件。

5.数据倾斜问题

1.数据倾斜现象
数据频率倾斜某——个区域的数据量 要远远大于其他区域。
数据大小倾斜斗——部分记录的大小远远大于平均值。

2.减少数据倾斜的方法
方法1:抽样和范围分区
可以通过对原始数据进行抽样得到的结果集来预设分区边界值。
方法2:自定义分区
基于输出键的背景知识进行自定义分区。例如，如果Map输出键的单词来源于一本书。且其中期传业词汇较多。那么就可以自定义分区将这这些专业词汇发送给固定的一部分Reduce实例。而将其他的都发送给剩余的Reduce实例。
方法3: Combine
使用Combine可以大地减小数据倾斜。在可能的情况下，Combine的目的就是聚合并精简数据。
方法4:采用Map Join,尽量避免Reduce Join。

6. 常用的调优参数

1．资源相关参数
（1）以下参数是在用户自己的MR应用程序中配置就可以生效 （mapred-default.xml）

配置参数	参数说明
mapreduce.map.memory.mb	一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.reduce.memory.mb	一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.map.cpu.vcores	每个MapTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.cpu.vcores	每个ReduceTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.shuffle.parallelcopies	每个Reduce去Map中取数据的并行数。默认值是5
mapreduce.reduce.shuffle.merge.percent	Buffer中的数据达到多少比例开始写入磁盘。默认值0.66
mapreduce.reduce.shuffle.input.buffer.percent	Buffer大小占Reduce可用内存的比例。默认值0.7
mapreduce.reduce.input.buffer.percent	指定多少比例的内存用来存放Buffer中的数据，默认值是0.0

（2）应该在YARN启动之前就配置在服务器的配置文件中才能生效 （yarn-default.xml）

配置参数	参数说明
arn.scheduler.minimum-allocation-mb	给应用程序Container分配的最小内存，默认值：1024
yarn.scheduler.maximum-allocation-mb	给应用程序Container分配的最大内存，默认值：8192
yarn.scheduler.minimum-allocation-vcores	每个Container申请的最小CPU核数，默认值：1
yarn.scheduler.maximum-allocation-vcores	每个Container申请的最大CPU核数，默认值：32
yarn.nodemanager.resource.memory-mb	给Containers分配的最大物理内存，默认值：8192

（3）Shuffle性能优化的关键参数，应在YARN启动之前就配置好 （mapred-default.xml）

配置参数	参数说明
mapreduce.task.io.sort.mb	Shuffle的环形缓冲区大小，默认100m
mapreduce.map.sort.spill.percent	环形缓冲区溢出的阈值，默认80%

2．容错相关参数(MapReduce性能优化)

配置参数	参数说明
mapreduce.map.maxattempts	每个Map Task最大重试次数，一旦重试参数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.reduce.maxattempts	每个Reduce Task最大重试次数，一旦重试参数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.task.timeout	Task超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个Task在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态，可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。