MR优化 & hadoop参数调优

MR优化

小文件

所谓小文件，就是单个文件的size小于blockSize。

HDFS 小文件影响
（1）影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中
（2）影响计算引擎的任务数量，因为每个小的文件都会生成一个 Map 任务

数据输入小文件处理：
（1）合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件存储成SequenceFile 文件。
（2）采用 ConbinFileInputFormat 来作为输入，将多个input path合并成一个InputSplit送给mapper处理，从而减少mapper的数量。
（3）对于大量小文件 Job，可以开启 JVM 重用。
Hadoop中有个参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。
mapred.job.reuse.jvm.num.tasks设置成大于1的数。这表示属于同一job的顺序执行的task可以共享一个JVM，也就是说第二轮的map可以重用前一轮的JVM，而不是第一轮结束后关闭JVM，第二轮再启动新的JVM。
mapred.job.reuse.jvm.num.tasks。如果设置成-1，那么只要是同一个job的task（无所谓多少个），都可以按顺序在一个JVM上连续执行。
如果task属于不同的job，那么JVM重用机制无效，不同job的task需要不同的JVM来运行。
(4) 输入文件size巨大，但不是小文件
这种情况可以通过增大每个mapper的input size，即增大minSize或者增大blockSize来减少所需的mapper的数量。增大blockSize通常不可行，因为当HDFS被hadoop namenode -format之后，blockSize就已经确定了（由格式化时dfs.block.size决定），如果要更改blockSize，需要重新格式化HDFS，这样当然会丢失已有的数据。所以通常情况下只能通过增大minSize，即增大mapred.min.split.size的值。

Map 阶段

（1）增大环形缓冲区大小。由 100m 扩大到 200m
（2）增大环形缓冲区溢写的比例。由 80%扩大到 90%
（3）减少对溢写文件的 merge 次数。（10 个文件，一次 20 个 merge）
（4）不影响实际业务的前提下，采用 Combiner 提前合并，减少 I/O。

Reduce 阶段

（1）合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超时等错误。
（2）设置 Map、Reduce 共存：调整 slowstart.completedmaps 参数，使 Map 运行到一定程度后，Reduce 也开始运行，减少 Reduce 的等待时间。
（3）规避使用 Reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗。
（4）增加每个 Reduce 去 Map 中拿数据的并行数
（5）集群性能可以的前提下，增大 Reduce 端存储数据内存的大小。

IO 传输

（1）采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器。Snappy 压缩编码器 特点速度快，缺点无法切分
（2）使用 SequenceFile 二进制文件

HADOOP参数调优

1） hdfs-site.xml
文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群

2）dfs.namenode.handler.count=20 * log2(Cluster Size)
NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。
比如集群规模为 10 台时，此参数设置为 60

3 ） dfs.namenode.edits.dir 编辑 日 志 存 储 路 径设置与 镜 像 文 件 存 储 路 径 dfs.namenode.name.dir 尽量分开，达到最低写入延迟

4）yarn.nodemanager.resource.memory-mb 服务器节点上 YARN 可使用的物理内存总量，默认是 8192（MB），注意，如果你的节点内存资源不够 8GB，则需要调减小这个值，而 YARN 不会智能的探测节点的物理内存总量。

5）yarn.scheduler.maximumallocation-mb 单个任务可申请的最多物理内存量，默认是 8192（MB）。