Hive中如何调整Mapper和Reducer的数目

1.设置reduce个数

set mapred.reduce.tasks;	--reduce个数
set hive.exec.reduce3s.bytes.per.reducer;	--每个reduce处理的数据量（256M）
set hive.exec.reducer.max;	--每个任务开启最大reduce数

2.设置map数

set mapred.max.split.size;	--单个map最大数据处理量(256M）
set mapred.min.split.size.pre.node;	--单个节点可处理的最小数据量（1B）
set mapred.min.size.per.rack;	--单个机架可处理的最小数据量（1B）
set hive.input.format;	--使用小文件预聚合