提高hadoop的mapreduce job效率笔记-----修改mapper和reducer数量

hadoop 的mapreduce 的作业在运行过程中常常碰到一些这样的情况：

每一个map或者reduce只有30-40秒钟就结束
超 大规模的job 时，通常会需要大量的map和reduce的slots 支持，但是job运行起来后，running的map和reduce并没有沾满集群的可用slots
当几乎所有的map和 reducers都在调度系统 中运行着，此时却有 一个或者两个pending的map或者reduce，一直不跑，使得job一直无法正常结束。

对一 个job的map数和reduce数的设定对一个job的运行是非常重要的，并且非常简单。关于设置这几个值的经验总结：

已经迁移至新博客：

http://www.adintellig.com/hadoop-mapreduce-tuning/