Hadoop 教程 - Hadoop调优之MapReduce生产经验

在Hadoop生产环境中调优MapReduce作业时，关注以下关键点可以显著提升作业的执行效率和资源利用率。以下是一些基于生产经验的MapReduce调优技巧：

1. Map与Reduce任务数量

• 合理设置Map任务数量：Map任务的数量通常由输入数据的大小和块大小决定，但可以通过mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize参数微调。确保每个Map任务处理的数据量适中，避免任务过短或过长。

• 调整Reduce任务数量：通过mapreduce.job.reduces或编程方式job.setNumReduceTasks()来设置。一般原则是，Reduce任务数量应该足够多以充分利用集群资源，但又不能过多导致调度开销过大。通常建议为集群中TaskTracker的数量的0.9到1.2倍。

2. Shuffle与Sort优化

• 增加Merge次数：在shuffle阶段，增加合并（merge）次数可以减少磁盘I/O操作，通过mapreduce.task.io.sort.factor来设置同时合并的输出文件数。

• 压缩Map输出：开启Map输出压缩（mapreduce.map.output.compress=true），减少网络传输数据量，但需权衡压缩与解压缩的CPU开销。

3. I/O优化

• 处理数据倾斜：识别并解决数据倾斜问题，例如通过采样数据预估分区大小，或使用自定义分区器来均衡数据分布。

• 小文件问题：通过合并小文件、使用SequenceFile或Har文件等方式减少小文件带来的NameNode压力和Map任务启动开销。

4. 硬件与资源分配

• CPU与内存：合理分配mapreduce.map.memory.mb和mapreduce.reduce.memory.mb，确保任务有足够的内存运行，避免内存溢出。同时，通过mapreduce.map.cpu.vcores和reduce.cpu.vcores配置CPU核数。

• 磁盘与网络：监控磁盘I/O和网络带宽使用，优化硬件配置或网络拓扑以减少瓶颈。

5. 任务执行时间

• 监控与调优Map/Reduce执行时间：通过日志和监控工具（如YARN的web UI）分析任务执行时间，优化慢任务或瓶颈代码。

6. JVM调优

• GC策略：根据作业特性选择合适的JVM垃圾回收策略，如使用G1GC替换默认的CMS，以减少GC暂停时间。

7. 日志与调试

• 日志级别：在调试期间，适当调整日志级别以收集更多诊断信息，但确保在生产环境中使用较低的日志级别以减少磁盘写入负担。

8. 使用工具与实践

• 使用Hadoop自带工具：利用hadoop jar hadoop-mapreduce-client-jobclient.jar jobhistory等工具查看历史作业执行详情，辅助分析问题。

• 持续监控与调优：实施持续的性能监控和周期性的调优实践，随着数据规模和作业特性变化进行动态调整。

综上所述，MapReduce调优是一个涉及多个层面的细致过程，需要根据实际情况灵活应用这些策略，并不断测试和监控以达到最佳性能。