Broadcast Hash Join

Broadcast Hash Join 是 Spark SQL 中的一种优化机制，适用于处理小表和大表之间的关联操作。当其中一个表比较小，可以将其广播到每个执行节点，然后对大表进行分区并与广播表进行本地哈希连接。

间接说明

假设你有两张表：表A和表B。表A非常大，包含数百万条记录，而表B比较小，只有几千条记录。如果使用普通的Shuffle Hash Join，那么Spark需要将这两张表都进行分区，然后通过网络将数据进行Shuffle，最后再进行哈希连接。这种操作在处理大数据时会非常耗费资源，特别是网络带宽和磁盘I/O。

而如果使用Broadcast Hash Join，Spark会将表B（小表）广播到每一个执行节点。这样，每个节点可以直接在本地内存中完成表A（大表）和表B的哈希连接操作，无需通过网络进行数据交换。这样大大减少了Shuffle的开销，提升了查询的效率。

适用场景

• 当一张表足够小，可以被广播到每个节点。
• 适用于小表和大表连接的情况，其中小表可以完全加载到内存中。

关键点

• 广播的表：小表会被广播到每一个执行节点。
• 哈希连接：在每个执行节点，使用哈希算法在本地内存中进行连接操作。
• 减少Shuffle：避免了数据的分区和网络传输，提升了性能。

总的来说，Broadcast Hash Join 是一种优化策略，能够在特定场景下通过减少数据传输和分区操作，显著提高连接操作的性能。