Hadoop的优化方案

Hadoop的优化方案

• HDFS小文件优化
  • 合并小文件，对小文件进行归档，自定义InputFormat将小文件存储成SequenceFile
  • 采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景
  • 对于大量小文件Job，可以开启JVM重用
• Map阶段
  • 增大环形缓冲区大小，由100M扩大到200M
  • 增大环形缓冲区的溢写比例，由80%扩大到90%
  • 减少对溢写文件的merge次数
  • 不影响实际业务的前提下，采用combiner提前合并，减少I/O
• Reduce阶段
  • 合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多；太少，会导致Task等待，延长处理时间；太多，会导致Map，Reduce任务间竞争资源，造成处理超时等错误
  • 设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间
    规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗
  • 增加每个Reduce去Map中拿数据的并行数
  • 集群性能可以的前提下，增大Reduce端存储数据内存的大小
• IO传输
  • 采用数据压缩的方式，减少网络IO的时间，安装Snappy和LZOP的压缩编码器
  • 使用SequenceFile二进制文件
• 整体
  • MapTask默认内存大小是1G，可以增加MapTask内存大小为4-5G
  • ReduceTask默认内存大小是1G，可以增加ReduceTask内存大小为4-5G
  • 可以增加MapTask的CPU核数，增加ReduceTask的CPU核数
  • 增加每个container的CPU核数和内存大小
  • 调整每个MapTask和ReduceTask最大重试次数