weixin_43774582的博客

原创 Hadoop企业优化

MapReduce优化方法 数据输入 合并小文件:在执行MR任务前将小文件进行合并,大量的小文件会产生大量的Map任务,增大Map任务装载次数,而任务的装载比较耗时,从而导致MR运行较慢。 采用CombineTexInputFormat来作为输入,解决输入端大量小文件场景。 Map阶段 减少溢写（Spill）次数：通过调整mapreduce.task.io.sort.mb及mapreduce.map.sort.spill.percent参数值，增大触发Spill的内存上限，减少Spill次数，从而减少