Configuration Properties - Apache Hive - Apache Software Foundation
1.mr
mapred.reduce.tasks
强制指定reduce个数
默认值:-1
添加于:Hive 0.1.0
通过将此属性设置为 -1,Hive 将自动计算出reduce task的数量。
hive.exec.reducers.bytes.per.reducer
每个reduce task处理的最大数据量
Hive 0.14.0 及更高版本中为256,000,000 即256 MB
也就是说,如果输入大小为 1 GB,则将使用 4 个 reducer。
hive.exec.reducers.max
每个job最大的reduce task个数
默认值:1009 在 Hive 0.14.0 及更高版本中
每个job 的最大reducer 数量。
2.spark
mapreduce.job.reduces
默认值:-1(禁用)
添加于:Hive 1.1.0 与 HIVE-7567
设置每个 Spark shuffle 阶段的 reduce 任务数。
默认情况下设置为 -1:reduce task的数量是根据 Hive 数据统计动态计算的。将此设置为一个常数值会为所有 Spark shuffle 阶段设置相同数量的分区。