hive中的优化，只涉及参数

目录

一、大小表join

二、group by的优化

三、小文件进行合并

四、设置合理的reduce个数

五.让复杂文件增加map数

六、并行执行

七、JVM重用

---

一、大小表join

开启MapJoin参数设置

（1）设置自动选择Mapjoin

set hive.auto.convert.join = true; 默认为true

（2）大表小表的阈值设置（默认25M一下认为是小表）

set hive.mapjoin.smalltable.filesize=25000000;

（3）小表在前 left join 大表在后；

二、group by的优化

并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。

开启Map端聚合参数设置

（1）是否在Map端进行聚合，默认为True

set hive.map.aggr = true

（2）在Map端进行聚合操作的条目数目

set hive.groupby.mapaggr.checkinterval = 100000