hivesql优化技巧之一 mapjoin

hivesql 计算优化技巧

当要连接的两个表其中一个表非常小的时候，可以考虑使用mapjoin。mapjoin会将小表拷贝到每个运行map的节点上，并将其cache到内存中，然后在map阶段连接大表。由于省去了reduce过程，效率会提高不少。使用mapjoin之后，join会执行两个map-reduce Job，不用mapjoin则只有一个。hive.merge.mapfiles这个参数设置为true了，因为只有map而没有reduce，map的数量又不好控制，可能导致大量的map任务，这样会生成许多文件。hive.merge.mapfiles为true时，会启动另 外一个map-reduce Job来合并小文件。

mapjoin还有一个很大的好处是能够进行不等连接的join操作，如果将不等条件写在where中，那么mapreduce过程中会进行笛卡尔积，运行效率特别低，这是由于equality join （不等值join操作有 >、<、like等如：a.x < b.y 或者 a.x like b.y）需要在reduce端进行不等值判断，map端只能过滤掉where中等值连接时候的条件，如果使用mapjoin操作，在map的过程中就完成了不等值的join操作，效率会高很多。

 

select /*+ MAPJOIN(目标表) */

 

简单总结一下，mapjoin的使用场景：

1. 关联操作中有一张表非常小

2.不等值的链接操作