MapJoin 的使用方法

MapJoin 的使用方法(hive优化)

1- MapJoin是什么

MapJoin是 Map阶段进行表之间的连接,而不需要进入到Reduce阶段才进行连接.这样就节省了在Shuffle阶段时要进行的大量数据传输,从而起到了优化作业的作用.

2- MapJoin的原理

通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到Reduce中去连接。
要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。

整个JOIN过程包含Map、Shuffle和Reduce三个阶段。通常情况下，join操作在Reduce阶段执行表连接。

mapjoin在Map阶段执行表连接，而非等到Reduce阶段才执行表连接，可以缩短大量数据传输时间，提升系统资源利用率，从而起到优化作业的作用。

在对大表和一个或多个小表执行join操作时，mapjoin会将您指定的小表全部加载到执行join操作的程序的内存中，在Map阶段完成表连接从而加快join的执行速度。

3- 使用方法

select /+ mapjoin(b)/ a.a1,b.b2 from A a join B b on a.id=b.id

注意事项：
引用小表或子查询时，需要引用别名。
mapjoin支持小表为子查询。
在mapjoin中，可以使用不等值连接或or连接多个条件。您可以通过不写on语句而通过mapjoin on 1 = 1的形式，实现笛卡尔乘积的计算。例如select /+ mapjoin(a) / a.id from shop a join table_name b on 1=1;，但此操作可能带来数据量膨胀问题。
mapjoin中多个小表用英文逗号（,）分隔，例如/+ mapjoin(a,b,c)/。

4- 使用示例

-- 单表
select /*+ mapjoin(a) */
        a.id
        , a.user_name
        , b.group_id
from user_info a join sys_info b
on a.id < b.id ;

-- 多表
select 
  /*+ mapjoin(b,c) */
  a.uesr_id,
  , b.category_id
  , c.group_id
from user_info a
join
(
  select user_id,category_id from sys_category group by user_id,category_id
) b
on a.user_id = b.user_id
join 
(
  select user_id,group_id from group_info where del_flag = 0
) c
on a.user_id = c.user_id;