【hive】hive针对map、reduce端的内存溢出的一些session配置

主要是针对Mapreduce的，map端和reduce端的内存溢出做的一些参数优化。可能不是最优，仅供参考：

map端内存溢出参数配置参考：
主要的优化方向就是，增大map个数，减少每个map处理的数据量

set mapreduce.job.queuename=tj;
set hive.mapjoin.smalltable.filesize = 500;
set mapred.map.tasks = 20;
set mapred.reduce.tasks = -1;
set mapred.max.split.size=32000000;
set mapred.min.split.size.per.node=32000000;
set mapred.min.split.size.per.rack=32000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set hive.merge.size.per.task = 64000000;
set mapreduce.reduce.memory.mb=20495;
set hive.auto.convert.join=true;

reduce端内存溢出参数配置参考：
主要的优化方向就是，增大reduce个数等

set io.sort.mb=10;
set hive.map.aggr=true;
set hive.merge.size.per.task = 256000000;
set mapreduce.reduce.memory.mb=4096;
set mapred.reduce.tasks = 20;