Hadoop优化的一些笔记

1、Hadoop小文件影响
（1）影响NameNode寿命，因为NameNode的内存存储文件的元数据信息
（2）影响计算引擎的任务数量，因为一个文件就会创建一个Map任务

2、数据输入小文件处理
（1）合并小文件：对小文件进行归档（har），自定义Inputformat将小文件存储为SequenceFile文件；
（2）采用CombinFileInputformat来作为输入，解决大量小文件的问题；
（3）对于大量小文件job，开启JVM重用。

3、Map端
（1）增大环形缓冲区的大小，从100M增大到200M
（2）真哒环形缓冲区的溢写比例，从80%增大到90%
（3）减少对溢写文件的merge次数
（4）不影响实际业务的前提下，先进行Combiner操作，减少IO

4、Reduce端
（1）合理设置Map数和Reduce数，两个都不能设置提多或者太少。太少，会导致任务等待，导致处理时间变长；太多，会使Map和Reduce任务间竞争资源，造成处理超时；
（2）设置Map和Reduce共存，调整slowstart.completedmaps参数，使Map在运行一段时间后Reduce也开始运行，减少Reduce端等待的时间；
（3）规避使用Reduce，因为Reduce在连接数据集时会产生大量的网络消耗；
（4）增加每个Reduce去Map端拿数据的并行数；
（5）集群性能满足的前提下，增加Reduce端的存储数据的内存大小。

5、IO传输
（1）采用数据压缩的方式，减少网络IO的时间，例如安装Snappy或者LZO压缩编码器；
（2）使用SequenceFile二进制文件

6、整体
（1）MapTask和ReduceTask内存大小默认为1G，可以增大他两的内存大小至4~5G；
（2）增加MapTask和ReduceTask的CPU核数；
（3）增加每个Container的CPU核数和内存大小；
（4）调整每个MapTask和ReduceTask的最大重试次数。

补充：Snappy压缩特点是速度快，缺点是无法切分（如果在链式MR中，可以在Reduce端使用bzip2压缩，方便后续的任务对数据进行切分）。