Spark中JOIN执行的5种策略

Spark提供了5种JOIN机制来执行具体的JOIN操作。该5种JOIN机制如下所示：

• Shuffle Hash Join

• Broadcast Hash Join

• Sort Merge Join

• Cartesian Join

• Broadcast Nested Loop Join

Shuffle Hash Join

简介

当要JOIN的表数据量比较大时，可以选择Shuffle Hash Join。这样可以将大表进行按照JOIN的key进行重分区，保证每个相同的JOIN key都发送到同一个分区中。

Shuffle Hash Join的基本步骤主要有以下两点：

• 首先，对于两张参与JOIN的表，分别按照join key进行重分区，该过程会涉及Shuffle，其目的是将相同join key的数据发送到同一个分区，方便分区内进行join。

• 其次，对于每个Shuffle之后的分区，会将小表的分区数据构建成一个Hash table，然后根据join key与大表的分区数据记录进行匹配。

条件与特点

• 仅支持等值连接，join key不需要排序

• 支持除了全外连接(full outer joins)之外的所有join类型

• 需要对小表构建Hash map，属于内存密集型的操作，如果构建Hash表的一侧数据比较大，可能会造成OOM