Spark SQL 中 Broadcast Join 一定比 Shuffle Join 快？那你就错了。

本资料来自 Workday 的软件开发工程师 Jianneng Li 在 Spark Summit North America 2020 的 《On Improving Broadcast Joins in Spark SQL》议题的分享。相关 PPT 可以到 你要的 Spark AI Summit 2020 PPT 我已经给你整理好了 里面获取。

背景

相信使用 Apache Spark 进行数据分析的同学对 Spark 中的 Broadcast Join 比较熟悉，其在 Join 之前会把一端比较小的表广播到参与 Join 的 worker 端，具体如下：

如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop

相比 Shuffle Join，Broadcast Join 的优势主要有：

•避免把大表的数据 shuffle 到其他节点；•很自然地处理数据倾斜

如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop 

很多人得出结论：在 Broadcast Join 适用的情况下，Broadcast Join 是要比 Shuffle Join 快！但事实是这样的吗？

TPC-H 测试

在得出结论之前我们先来进行 TPC-H 测试，来看下是不是 Broadcast Join 一定要比 Shuffle Join 快。测试条件如下：

•数据集 10GB；•查询：6千万条数据的 lineitem 表 join 1.5千万的 orders 表•Driver 的配置：1 core, 12 GB•Executor 的配置：一个 instance，18 cores, 102 GB