Hive面试常问与工作实用 —— Hive Join优化

在阐述Hive Join具体的优化方法之前，首先看一下Hive Join的几个重要特点，在实际使用时也可以利用下列特点做相应优化：

1.只支持等值连接

2.底层会将写的HQL语句转换为MapReduce，并且reduce会将join语句中除最后一个表外都缓存起来

3.当三个或多个以上的表进行join操作时，如果每个on使用相同的字段连接时只会产生一个mapreduce

具体的优化建议：
1.合理的设置map和reduce数量

jvm重用。可在hadoop的mapred-site.xml中设置jvm被重用的次数，参数mapred.job.reuse.jvm.num.tasks

2.对于任务重没有依赖关系的阶段开启并发执行，设置属性：set hive.exec.parallel=true

3.查询分区表时，在查询条件中指定分区

4.尽量使用left semi join 替代in、not in、exists

因为left semi join在执行时，对于左表中指定的一条记录，一旦在右表中找到立即停止扫描，效率更高

5.当多个表进行查询时，从左到右表的大小顺序应该是从小到大

原因：hive在对每行记录操作时会把其他表先缓存起来，直到扫描最后的表进行计算

6.对于经常join的表，针对join字段进行分桶，这样在join时不必全表扫描

7.小表进行mapjoin

如果在join的表中，有一张表数据量较小，可以存于内存中&#