在执行MapReduce任务前将小文件进行合并，大量的小文件会产生大量的Map任务，增大Map任务装载次数，
而任务的装载比较耗时，从而导致MapReduce运行较慢。
通过调整 io.sort.mb 及 sort.spill.percent 参数值，增大触发Spill的内存上限，减少 Spill 次数，
从而减少磁盘 IO
通过调整 io.sort.factor参数，增大Merge 的文件数目，减少 Merge 的次数，从而缩短MR处理时间。
在Map之后，不影响业务逻辑前提下，先进行Combine处理，减少I/O。
两个都不能设置太少，也不能设置太多。太少会导致Task等待，延迟处理时间；
太多，会导致Map、Reduce任务竞争资源，造成处理超时错误。
调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，
减少Reduce的等待时间。
因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
默认情况下，数据达到一个阈值的时候，Buffer中的数据就会写入磁盘，
然后Reduce会从磁盘中获得所有的数据。也就是说，Buffer 和 Reduce 是没有直接关联的，
中间多次写磁盘 -> 读磁盘的过程，可以通过参数来配置，
使得Buffer中的一部分数据可以直接输送到 Reduce，从而减少IO开销：
mapreduce.reduce.input.buffer.percent，默认为0.0。当值大于0的时候，
会保留指定比例的内存读 Buffer 中的数据直接拿给 Reduce 使用。
这样一来，设置 Buffer 需要内存，读取数据需要内存，Reduce 计算也要内存，
所以要根据作业的运行情况进行调整。
减少网络IO的时间。安装Snappy和LZO压缩编码器
数据频率倾斜——某一个区域的数据量要远远大于其他区域。
数据大小倾斜——部分记录的大小远远大于平均值。
可以通过对原始数据进行抽样得到的结果集来预设分区边界值。
基于输出键的背景知识进行自定义分区。
使用 Combine 可以大量的减少数据倾斜。在可能的情况下，Combine的目的就是聚合并精简数据。
HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150 byte，
这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用 NameNode 的内存空间，
另一方面就是索引文件过大使得索引速度变慢。
小文件的优化有以下几种方式：
（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。
（2）在业务处理之前，在HDFS上使用 MapReduce 程序对小文件进行合并。
（3）在 MapReduce 处理时，可采用 CombineTextInputFormat 提高效率。
是一个高效的将小文件放入 HDFS 块中的文件存档工具，它能够将多个小文件打包成一个 HAR 文件，
这样就减少了 NameNode 的内存使用。
Sequence File 由一系列的二进制 key/value 组成，如果 key 为文件名，value 为文件内容，
则可以将大批小文件合并成一个大文件。
CombineFileInputFormat是一种新的InputFormat，用于将多个文件合并成一个单独的Split，
另外，它会考虑数据的存储位置。
对于大量小文件Job，可以开启JVM重用会减少45%运行时间。
JVM重用原理：一个Map运行在一个JVM上，开启重用的话，该Map在JVM上运行完毕后，JVM继续运行其他Map。
具体设置：mapreduce.job.jvm.numtasks 值在10-20之间。
配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位：MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb 一个 ReduceTask 可使用的资源上限（单位：MB），默认为1024。如果 ReduceTask 实际使用的资源量超过该值，则会被强制杀死。 mapred.child.java.opts 配置每个map或者reduce使用的内存的大小，默认是200M mapreduce.map.cpu.vcores 每个 MapTask 可使用的最多 cpu core 数目，默认值：1 mapreduce.reduce.cpu.vcores 每个Reduce task可使用的最多cpu core数目, 默认值: 1 mapreduce.reduce.shuffle.parallelcopies 每个 Reduce 去 Map 中取数据的并行数。默认值：5 mapreduce.reduce.shuffle.merge.percent Buffer 中的数据达到多少比例开始写入磁盘。默认值：0.66 mapreduce.reduce.shuffle.input.buffer.perce Buffer 大小占 Reduce 可用内存的比例。默认值：0.7 mapreduce.reduce.input.buffer.percent 指定多少比例的内存用来存放 Buffer 中的数据，默认值：0.0
配置参数 参数说明 yarn.scheduler.minimum-allocation-mb 给应用程序Container 分配的最小内存，默认值：1024 yarn.scheduler.maximum-allocation-mb 给应用程序 Container 分配的最大内存，默认值：8192 yarm.scheduler.minimum-allocation-vcores 每个 Container 申请的最小 CPU 核数，默认值：1 yarn.scheduler.maximum-allocatioin-vcores 每个 Container 申请的最大 CPU 核数，默认值：32 yarn.nodemanager.resource.memory-mb 给 Containers 分配的最大物理内存，默认值：8192
配置参数 参数说明 mapreduce.task.io.sort.mb Shuffle 的环形缓冲区大小，默认 100m mapreduce.map.sort.spill.percent 环形缓冲区溢出的阈值，默认 80%
配置参数 参数说明 mapreduce.map.maxattempts 每个 Map Task 最大重试次数，一旦重试参数超过该值，则认为 Map Task 运行失败，默认值：4 mapreduce.reduce.maxattempts 每个 Reduce Task 最大重试次数，一旦重试次数超过该值，则认为 Map Task 运行失败，默认值：4 mapreduce.job.maxtaskfailures.per.tracker 当失败的Map Task失败比例超过该值为，整个作业则失败，默认值为0. 如果你的应用程序允许丢弃部分输入数据，则该该值设为一个大于0的值，比如5，表示如果有低于5%的Map Task失败（如果一个Map Task重试次数超过mapreduce.map.maxattempts，则认为这个Map Task失败，其对应的输入数据将不会产生任何结果），整个作业仍认为成功。 mapreduce.task.timeout Task 超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个 Task 在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task 处于 Block 状态，可能是卡住了，也许永远会卡住，为了防止因为用户程序永远 Block 住不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000 。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将参数调大，该参数过小常出现的错误提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。
配置参数 参数说明 mapreduce.map.speculative 是否为Map Task打开推测执行机制，默认为true，如果为true，如果Map执行时间比较长，那么集群就会推测这个Map已经卡住了，会重新启动同样的Map进行并行的执行，哪个先执行完了，就采取哪个的结果来作为最终结果，一般直接关闭推测执行 mapreduce.reduce.speculative 是否为Reduce Task打开推测执行机制，默认为true，如果reduce执行时间比较长，那么集群就会推测这个reduce已经卡住了，会重新启动同样的reduce进行并行的执行，哪个先执行完了，就采取哪个的结果来作为最终结果，一般直接关闭推测执行
扫一扫
210
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
