Hive调优篇

1.java heap space异常

如果仅设置

set mapred.map.child.java.opts=-Xmx2048m; 

（默认值:mapred.map.child.java.opts=-Djava.net.preferIPv4Stack=true -Xmx1610612736）

set mapred.reduce.child.java.opts=-Xmx2048m; 

（默认值:mapred.reduce.child.java.opts=-Djava.net.preferIPv4Stack=true -Xmx1610612736）

不成功，继续设置

 

set mapreduce.map.memory.mb=6144;

（默认值:mapreduce.map.memory.mb=2048）

set mapreduce.reduce.memory.mb=3072;

（默认值:mapreduce.reduce.memory.mb=2048）

以上参数的值可以根据数据量具体设置。

2.inner join不走分区扫描全表

在使用inner join的时候，会发现相同的代码只是把inner join换成left join，inner join开启的map数较多，因为inner join的时候where条件里面设置的时间周期不起作用，计算的时候会a表和b表全表扫描进行join。

（1）简单的提数可以把时间周期设置在join的条件里面。

（2）正式上线的代码可以先进行一下某个时间周期数据的预先，然后再进行join。

3.union 较多的时候，提高效