hive的大表join小表

1、小、大表 join

在小表和大表进行join时，将小表放在前边，效率会高。hive会将小表进行缓存。

2、mapjoin

使用mapjoin将小表放入内存，在map端和大表逐一匹配。从而省去reduce。

样例：

select /*+MAPJOIN(b)*/ a.a1,a.a2,b.b2 from tablea a JOIN tableb b ON a.a1=b.b1

mapjoin的join发生在map阶段，join的join发生在reduce阶段，mapjoin可以提高效率

参考文档：https://blog.csdn.net/liuj2511981/article/details/8616730