Spark简介系列03 join

最新推荐文章于 2022-12-29 19:14:02 发布

只要开始永远不晚

最新推荐文章于 2022-12-29 19:14:02 发布

阅读量194

点赞数

分类专栏： PySpark简明教程

本文链接：https://blog.csdn.net/haohaizijhz/article/details/106102306

版权

24 篇文章 27 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了Spark中的join通信策略，强调了大表与大表、大表与小表以及小表与小表关联时的不同处理方式。大表与大表关联通常涉及shuffle过程，可能导致网络阻塞和效率降低。小表与大表关联时，如果小表足够小，广播join能提高效率。而对于小表和小表的关联，建议依赖Spark的自动优化。

摘要由CSDN通过智能技术生成

通信策略

通信模式	spark通信策略
点对点通信（node-to-node communication strategy）	all-to-all通信shuffle join
逐点计算（per node computation strategy）	broadcast join

注意：通信策略的优化会随着时间推移，在新版本中会有改进，内部优化器会随着基于成本的优化策略的改进，而更新对应join策略。

从宏观层面考虑

大表和大表关联，最终是shuffle join的过程，尤其是没有经过合理分区、分桶的情况下。每个节点都要和所有其他节点进行通信，由于网络会因通信量而阻塞，所很耗时。

大表和小表关联，当小表足够小、可放入单个

了解本专栏

关注