SparkSQL的3种Join实现

最新推荐文章于 2024-07-09 10:07:06 发布

狗叔

最新推荐文章于 2024-07-09 10:07:06 发布

阅读量1.7w

点赞数 8

分类专栏： Spark 大数据畅谈文章标签：大数据 spark sparksql join 分布式

本文链接：https://blog.csdn.net/asongoficeandfire/article/details/53574034

版权

本文探讨了SparkSQL中的3种Join实现：Broadcast Join、Shuffle Hash Join和Sort Merge Join。Broadcast Join适合小表，通过广播小表减少shuffle。Shuffle Hash Join适用于一侧表明显小于另一侧的情况，通过重分区和Hash表实现。Sort Merge Join则在大表之间进行排序后连接，避免内存压力。这些策略旨在提高大数据处理的效率和稳定性。

摘要由CSDN通过智能技术生成

引言

Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。

SparkSQL作为大数据领域的SQL实现，自然也对Join操作做了不少优化，今天主要看一下在SparkSQL中对于Join，常见的3种实现。

SparkSQL的3种Join实现

Broadcast Join

大家知道，在数据库的常见模型中（比如星型模型或者雪花模型），表一般分为两种：事实表和维度表。维度表一般指固定的、变动较少的表，例如联系人、物品种类等，一般数据有限。而事实表一般记录流水，比如销售清单等，通常随着时间的增长不断膨胀。

因为Join操作是对两个表中key值相同的记录进行连接，在SparkSQL中，对两个表做Join最直接的方式是先根据key分区，再在每个分区中把key值相同的记录拿出来做连接操作。但这样就不可避免地涉及到shuffle，而shuffle在Spark中是比较耗时的操作，我们应该尽可能的设计Spark应用使其避免大量的shuffle。

当维度表和事实表进行Join操作时，为了避免shuffle，我们可以将大小有限的维度表的全部数据分发到每个节点上，供事实表使用。executor存储维度表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作Broadcast Join，如下图所示：