MapReduce_原理( 二 结合Yarn相关 ）

• MAPREDUCE实践篇（2）

• mapreduce的shuffle机制

mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，叫 shuffle ;

shuffle:洗牌，发牌----（核心机制：数据分区，排序，缓存）

具体来说：是将maptask输出结果数据，反发给reducetask，并在分发的过程中，对数据key进行分区和排序

• 主要流程：

shuffle 是 MR 处理流程中的一个过程，它的每一个处理步骤是分散在各个map task 和 reduce task 节点上完成

1. 分区partition
2. Sort 根据key默认字典排序
3. Conbinner进行局部的 value 合并

 

 详细过程：

1. maptask 收集我们的 map() 方法输出的kv 对，放到内存环形缓冲区中
2. 从环形缓存区不断溢出到本地磁盘 （shuffle 过程产生的文件没有意义，所以不会存放hdfs中，消耗资源）
3. 多个溢出文件会被合并成大的溢出文件
4. 在溢出以及合并的过程中，都要调用 partitioner 进行1分组和针对 key进行排序
5. reducetask 根据自己的分区号，去各个maptask机器上去相应的分区数据
6. reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）
7. 合并成大文件后，shuffle过程也就结束了，后面进入reducetask的逻辑运算过程

shuffle 中的缓冲区大小会影响到mapreduce程序的执行效率，原则上，缓冲区乐大，磁盘的io次数越少，执行速度就越快

缓冲区的大小可以通过参数调整，参数：io.sort.mb 默认 100M

---

• MapReduce 和 YARN 

• YARN 概述

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当一个分布式操作的系统平台，而mapreduce等运算程序相当于运行于操作系统之上的应用程序。

• YARN 的重要概念

1. yarn并不清楚用户提交的程序的运行机制
2. yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）
3. yarn中的主管角色叫ResourceManager
4. yarn中具体提供运算资源角色叫NodeManager
5. yarn与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序如：storm spark 等等
6. Yarn 就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合再一个物理集群上，提高资源利用率，方便数据共享。

---

• MapReduce 参数优化

(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。

(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用的资源量超过该值，则会被强制杀死。

(3) mapreduce.map.cpu.vcores: 每个Map task可使用的最多cpu core数目, 默认值: 1

(4) mapreduce.reduce.cpu.vcores: 每个Reduce task可使用的最多cpu core数目, 默认值: 1

(5) mapreduce.map.java.opts: Map Task的JVM参数，你可以在此配置默认的java heap size等参数, e.g.

“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc” （@taskid@会被Hadoop框架自动换为相应的taskid）, 默认值: “”

(6) mapreduce.reduce.java.opts: Reduce Task的JVM参数，你可以在此配置默认的java heap size等参数, e.g.

“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc”, 默认值: “”

//应该在yarn启动之前就配置在服务器的配置文件中才能生效

(7) yarn.scheduler.minimum-allocation-mb       1024   给应用程序container分配的最小内存

(8) yarn.scheduler.maximum-allocation-mb      8192     给应用程序container分配的最大内存

(9) yarn.scheduler.minimum-allocation-vcores        1      

(10)yarn.scheduler.maximum-allocation-vcores      32

(11)yarn.nodemanager.resource.memory-mb   8192 

 

//shuffle性能优化的关键参数，应在yarn启动之前就配置好

1. mapreduce.task.io.sort.mb   100         //shuffle的环形缓冲区大小，默认100m
2. mapreduce.map.sort.spill.percent   0.8    //环形缓冲区溢出的阈值，默认80%

 

容错相关参数

(1) mapreduce.map.maxattempts: 每个Map Task最大重试次数，一旦重试参数超过该值，则认为Map Task运行失败，默认值：4。

(2) mapreduce.reduce.maxattempts: 每个Reduce Task最大重试次数，一旦重试参数超过该值，则认为Map Task运行失败，默认值：4。

(3) mapreduce.map.failures.maxpercent: 当失败的Map Task失败比例超过该值为，整个作业则失败，默认值为0. 如果你的应用程序允许丢弃部分输入数据，则该该值设为一个大于0的值，比如5，表示如果有低于5%的Map Task失败（如果一个Map Task重试次数超过mapreduce.map.maxattempts，则认为这个Map Task失败，其对应的输入数据将不会产生任何结果），整个作业扔认为成功。

(4) mapreduce.reduce.failures.maxpercent: 当失败的Reduce Task失败比例超过该值为，整个作业则失败，默认值为0.

(5) mapreduce.task.timeout: Task超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个task在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该task处于block状态，可能是卡住了，也许永远会卡主，为了防止因为用户程序永远block住不退出，则强制设置了一个该超时时间（单位毫秒），默认是300000。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。

效率和稳定性相关参数

(1) mapreduce.map.speculative: 是否为Map Task打开推测执行机制，默认为false

(2) mapreduce.reduce.speculative: 是否为Reduce Task打开推测执行机制，默认为false

(3) mapreduce.job.user.classpath.first & mapreduce.task.classpath.user.precedence：当同一个class同时出现在用户jar包和hadoop jar中时，优先使用哪个jar包中的class，默认为false，表示优先使用hadoop jar中的class。

(4) mapreduce.input.fileinputformat.split.minsize: FileInputFormat做切片时的最小切片大小，(5)mapreduce.input.fileinputformat.split.maxsize:  FileInputFormat做切片时的最大切片大小

(切片的默认大小就等于blocksize，即 134217728)