Hive任务调优

#通过调整max可以起到调整map数，减小max可以增加map数，增大max可以减少map数。
#直接调整mapred.map.tasks这个参数是没有效果的。
set mapred.min/max.split.size=xxxx; 数据的最小分割单元大小min的默认值是1B,max的默认值是256MB,单位为B
set mapred.min.split.size.per.node=xxxx; 每个节点map的最小负载,必须小于分割单元大小
set mapred.min.split.size.per.rack=xxxx; 每个机架map的最小负载

#当输入文件很多，数据量不大的情况下，可以先进行合并操作，减少map任务数量
#map执行前合并小文件，减少map数
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

#当输入文件文件很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数来使得每个map处理
的数据量减少，从而提高任务的执行效率。

#设置map/reduce任务的内存大小
set mapreduce.map.memory.mb=xxxx;
set mapreduce.reduce.memory.mb=xxxx;

#每个map/reduce Task需要的虚拟CPU个数
set mapreduce.map.cpu.vcores = x;  
set mapreduce.reduce.cpu.vcores = x;  

#设置Map/reduce任务JVM的堆空间大小，默认-Xmx1024m
set mapreduce.map.java.opts = - Xmx9192m;
set mapreduce.reduce.java.opts = - Xmx10000m;


#对分区表进行查询，在where子句中没有加分区过滤的话，将禁止提交任务