Spark join策略

已于 2024-10-03 21:35:51 修改
阅读量284 收藏 3
点赞数 8
文章标签： spark 大数据 分布式
于 2024-10-03 21:33:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72566748/article/details/142696266
版权

一、Sort Merge Join

spark默认的，两张大表进行join时使用

主要包括三个阶段：

  • Shuffle阶段：两张大表根据Join key进行shuffle重分区
  • Sort阶段：每个分区内的数据进行排序
  • Merge阶段：对来自不同表的排序好的分区数据进行join，通过遍历元素连接具有相同key的

二、Broadcast Hash Join

当一张表较小的时候可以使用，比如事实表和维表进行join，可以提高join的效率

主要包括两个阶段：

  • Broadcast阶段：将小表分发到大表所在的所有主机
  • hash join阶段：在每个executor上执行hash join

通过collect算子将小表的数据拉取到Driver端，然后调用广播方法将小表的数据广播到所有Executor端。在executor端中进行扫描join。这种方法可以避免shuffle

三、Shuffle Hash Join

当小表的数据比设置的小表阈值大，不适用于广播的时候可以考虑

主要包括两个阶段

  • shuffle阶段：分别将两个表按照join的key进行分区，将相同join key的记录重分布到同一节点，两张表的数据会被重分区到集群中所有节点
  • hash join阶段：每个分区节点的数据单独执行hash join算法

使用条件：①：仅支持等值连接 ②：sortMergeJoin的参数必须位false ③：小表的大小要小于3倍大表的大小

四、Shuffle Sort Merge Join

如果参与Join的表都很大，考虑这种

思想：对两张表参与join的key使用相同的分区算法和分区数进行分区，保证相同的key落到相同的分区中。分区完之后对每个分区按照参与join的key进行排序，最后reduce端获取两张相同分区数据进行Merge Join

五、 Cartesian Join（笛卡尔连接）

没有指定key的时候进行笛卡尔乘积

大数据领军人
关注
spark5种join策略
u011624157的专栏
05-16 768
因为是否小表走广播是根据spark对元数据的估算得到的，如果join表有很多的filter容易把表估大，造成本可以广播的情况实际没有广播
每个 Spark 工程师都应该知道的五种 Join 策略
过往记忆大数据
09-13 4742
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Join h...
【Spark精讲】Spark五种JOIN策略
话数Science
12-16 5043
Spark JOIN详解，Spark五种JOIN策略，Shuffle Hash Join，Broadcast Hash Join，Sort Merge Join，Cartesian Join，Broadcast Nested Loop Join
Spark五种Join策略
m0_37651941的博客
06-08 543
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Join hints 策略、Join 表的大小、 Join 是等值 Join（equi-join） 还是不等值（non-equi-joins）以及参与 Join 的 key 是否可以排序等条件来选择最终的 Join 策略（join strategies），最后 Spark 会利用选择好的 Join 策略执行最终的计算。
Spark之五种join策略
边看边学
12-31 799
Spark源码中关于join策略的描述 /** * Select the proper physical plan for join based on join strategy hints, the availability of * equi-join keys and the sizes of joining relations. Below are the existing join strategies, * their characteristics and their limitations.
【Spark的五种Join策略解析】
岸芷汀兰
09-12 2377
Spark将参与Join的两张表抽象为流式遍历表(streamIter)和查找表(buildIter)，通常streamIter为大表，buildIter为小表，我们不用担心哪个表为streamIter，哪个表为buildIter，这个spark会根据join语句自动帮我们完成。对于每条来自streamIter的记录，都要去buildIter中查找匹配的记录，所以buildIter一定要是查找性能较优的数据结构。
Spark中的三种Join策略
fengfengzai0101的博客
12-25 1586
介绍 Spark通常使用三种Join策略方式 Broadcast Hash Join（BHJ） Shuffle Hash Join（SHJ） Sort Merge Join（SMJ） Broadcast Hash Join 当小表与大表进行Join操作时，为了避免shuffle操作，将小表的所有数据分发到每个节点与大表进行Join操作，尽管牺牲了空间，但是避免了耗时的Shuffle操作。 ...
Spark中的JOIN机制
Java/Python大数据成长之路
07-16 1437
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的。
Spark的五种JOIN策略详细
xby18772963985的博客
11-29 977
JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spark是如何选择JOIN策略的 影响JOIN操作的因素 数据集的大小 参与JOIN的数据集的大小会直接影响Join操作的执行效率。同样，也会影响JOIN机制的选择和JOIN的执行效率。 JOIN的条件 JOIN的条件会涉及字段之间的逻辑比较。根
数据关联的艺术：揭秘Spark SQL中的5大Join策略与性能优化秘籍
击水三千里的专栏
08-19 260
在分布式数据处理中，选择合适的Join策略对提升Spark SQL性能至关重要。通过理解嵌套循环Join（NLJ）、排序归并Join（SMJ）和哈希Join（HJ）的工作原理，开发者可以根据数据特性和业务需求，利用Spark提供的Join Hints，优化查询性能，实现高效的数据关联。
spark三种join机制
weixin_59295776的博客
09-27 244
当维度表和事实表进行join操作时，为了避免shuffle，我们可以将大小有限的维度表的全部数据分发到每个节点上，供事实表使用。因为join操作是对两个表中key值相同的记录进行连接，在spark SQL中，对两个表做join最直接的方式是先根据key分区，再在每个分区中把key值相同的记录拿出来做连接操作。当两张表很大时，Spark SQL使用一种新的算法来做Join操作，叫做Sort Merge Join，这种算法并不会加载所有的数据，然后开始Hash Join，而是在Join之前进行数据排序。
Spark的join类型和策略
互联网知识分享
05-17 712
小结：虽然spark 是自动选择join策略类型的，但由于 Spark 的计算引擎优化器不是万能的，有些场景下会选择错误的 Join 策略，所以 Spark 2.4 & Spark 3.0 引入了 Join hint，也就是用户可以自己选择 Join 策略。和 MySQL 一样，如果 Spark 中两张参与 Join 的表没指定 where 条件（ON 条件）那么会产生 Cartesian product join，这个 Join 得到的结果其实就是两张行数的乘积。
Spark中Join实现原理
jinjiating的专栏
11-21 2389
spark中join实现方式
Spark的五种JOIN策略解析
jmx_bigdata的博客
11-03 1657
JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spark是如何选择JOIN策略的 影响JOIN操作的因素 数据集的大小 参与JOIN的数据集的大小会直接影响Join操作的执行效率。同样，也会影响JOIN机制的选择和JOIN的执行效率。 JOIN的条件 JOIN的条件会涉及字段之间的逻辑比较。根
Spark SQL是如何选择join策略的？
LittleMagic's Blog
02-20 1537
前言 我们都知道，Spark SQL主要有三种实现join的策略，分别是Broadcast hash join、Shuffle hash join、Sort merge join，在之前写的这篇文章里已经做过了简要的介绍。不过笔者还没说过Catalyst是依据什么样的规则来选择join策略的，本文来简单补个漏。 Catalyst在由优化的逻辑计划生成物理计划的过程中，会根据org....
Spark中的宽窄依赖-宽窄巷子
GDDGHS_的博客
11-03 309
窄依赖父RDD的一个分区的数据只给了子RDD的一个分区 【不用经过Shuffle一对一或者多对一不经过Shuffle，性能相对较快， 但无法实现全局分区、排序、分组等一个Stage内部的计算都是窄依赖的过程，全部在内存中 完成。宽依赖父RDD的一个分区的数据给了子RDD的多个分区【需要调用Shuffle的分区器来实现】一对多，必须经过Shuffle，性能相对较慢，可以实现全 局分区、排序、分组等Spark的job中按照宽依赖来划分Stage本质：只是一种标记，标记两个RDD之间的依赖关系。
Spark中的宽窄依赖
最新发布
song的博客
11-04 385
这里通过一张图来解释：result_rdd是由tuple_rdd使用reduceByKey算子得到的， 而tuple_rdd是由word_rdd使用map算子得到的，word_rdd又是由input_rdd使用flatMap算子得到的。它们之间的关系就称为依赖关系！窄依赖：父RDD的一个分区的数据只给了子RDD的一个分区 【不用经过Shuffle】一对一或者多对一不经过Shuffle，性能相对较快， 但无法实现全局分区、排序、分组等一个Stage内部的计算都是窄依赖的过程，全部在内存中 完成。宽依赖。
【spark的集群模式搭建】Standalone集群模式的搭建（简单明了的安装教程）
一个大数据的爱好者
11-04 327
spark的集群模式搭建：Standalone集群模式的搭建
spark join
07-28
Spark提供了多种Join执行策略来实现Join操作。其中包括Shuffle Hash Join、Broadcast Hash Join、Sort Merge Join、Cartesian Join和Broadcast Nested Loop Join。\[1\]\[2\] 在Spark中，执行Join操作时，会根据一定的规则选择合适的Join执行策略。如果没有指定Join提示（join hints），则会按照以下规则进行选择： 1. 如果Join类型可使用Broadcast Hash Join，并且其中一张表的大小小于spark.sql.autoBroadcastJoinThreshold的值（默认为10MB），则会选择Broadcast Hash Join。 2. 如果spark.sql.join.preferSortMergeJoin的值为false，并且其中一张表的大小小到可以构建为Hash Map，则会选择Shuffle Hash Join。 3. 如果Join的列可以进行排序，则会选择Sort Merge Join。 4. 如果是内连接，则会选择Cartesian Join。 5. 如果可能发生OOM（内存溢出）或者没有其他可选择的执行策略，则会选择Broadcast Nested Loop Join。 这些策略的选择是根据表的大小、是否可广播、是否可排序以及是否发生OOM等因素来决定的。\[3\] #### 引用[.reference_title] - *1* *2* *3* [Spark中Join实现原理](https://blog.csdn.net/jinjiating/article/details/127973403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值