Hive的三种join方式:
Common/Shuffle/Reduce Join(正常/一般情况)
Map Join(大小表join、不等值join、结合union all)
SMB(Sort-Merge-Buket) Join(大表join大表)
Shuffle Join
Shuffle Join在Hive中也叫Common Join或Reduce Join。如果两边数据量都很大,它会进行把相同key的value合在一起,然后再去组合。
• Map阶段:
o 读取源表的数据,Map输出时候以Join on条件中的列为key,如果Join有多个关联键,则以这些关联键的组合作为key,Map输出的value为join之后所关心的(select或者where中需要用到的)列;同时在value中还会包含表的Tag信息,用于标明此value对应哪个表
• Shuffle阶段:
o 根据key的值进行hash,并将key/value按照hash值推送至不同的reduce中,这样确保两个表中相同的key位于同一个reduce中
• Reduce阶段:
o 根据key的值完成join操作,期间通过Tag来识别不同表中的数据
Map Join
Map Join是在Map阶段进行表之间的连接,而不需要进入到Reduce阶段才进行连接,节省了在Shuffle阶段时要进行的大量数据传输,从而起到了优化作业的作用。Hive内置提供的优化机制之一就包括Map Join。
Map Join的原理:
其原理是broadcast join,即把小表作为一个完整的驱动表来进行join操作。通常情况下,要连接的各个表里面的数据会分布在不同的Map中进行处理。要使Map Join能够顺利进行,就必须满足:除了一份表的数据分布在不同的Map中外,其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中,在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用DistributedCache将小表分发到各个节点上,以供Mapper加载使用),