Hive 如何设置ReduceTask的数量

引言：思考某个MapReduce程序，到底有多少个Map Task和reduceTask

mapTask：

要处理的数据放在HDFS上，有多少个Block就有几个Maptask，一个block被一个MapTask处理。

reduceTask:

自己编写MapReduce程序，自己设定

hive：下面3个参数决定：

（1）设置每个reduceTask处理的数据量：

In order to change the average load for a reducer (in bytes):
设置：数据量
set hive.exec.reducers.bytes.per.reducer=<number>
默认一个reduceTask处理的大小
256000000 =256M

（2）限制一个MapReduce程序，Reduce Task最大数量：

In order to limit the maximum number of reducers:
设置：数量
set hive.exec.reducers.max=<number>
默认值：1009

根据50070输出文件名称推测 最大数量 10000