本文主要探讨MapReduce的性能调优，涉及HDFS和MapReduce的重要参数，如dfs.block.size、io.sort.mb等。通过调整这些参数，可以显著提高集群性能。例如，增加dfs.block.size可以提升网络环境下的性能，但也会增加磁盘开销。mapred.map.tasks和mapred.reduce.tasks是决定MapReduce任务执行效率的关键，需根据集群规模适当设置。此外，参数如mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum应与map和reduce任务数量相匹配，以避免资源争抢。同时，合理设置io.sort.mb和mapred.child.java.opts可以优化内存使用，避免过多硬盘操作。最后，磁盘目录配置mapred.local.dir、网络参数如mapred.reduce.parallel.copies和mapreduce.reduce.shuffle.maxfetchfailures也会影响性能，需根据实际网络状况进行调整。
这里主要针对Mapreduce的性能调优。
这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~
这里主要涉及的参数包括：
HDFS：
dfs.block.size
Mapredure：
io.sort.mb
io.sort.spill.percent
mapred.local.dir
mapred.map.tasks & mapred.tasktracker.map.tasks.maximum
mapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximum
mapred.reduce.max.attempts
mapred.reduce.parallel.copies
mapreduce.reduce.shuffle.maxfetchfailures
mapred.child.java.opts
<
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
526
