Spark调优学习记录（七）语法优化之广播Join

已于 2024-04-14 13:42:35 修改
阅读量447 收藏 6
点赞数 2
分类专栏： Spark调优学习记录 文章标签： spark 学习 大数据
于 2024-04-14 13:37:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuliangwan_jiangyan/article/details/137741885
版权

Spark join中，如果小表足够小，可以先缓存到内存，使用Broadcast Hash join。

原理是将小表聚合到driver端，再广播到各大表分区，进行join时，大表的各个分区与小表进行本地join，规避shuffle。

自动广播

参数

spark.sql.autoBroadcastJoinThreshold

默认值

10 * 1024 * 1024
10M，默认开启，禁用赋值-1

举例

广播前

代码

执行计划

执行10s

有shuffle

sortMergeJoin

广播后

代码

执行计划

执行62ms

无shuffle

BroadcastHashJoin

强行广播

虽然参数关闭啦，但是有以下几个方式，强行广播，略略略~~

SQL Hint方式

代码

执行计划

API方式

代码

执行计划

Spark Analyze命令的使用及作用、Map Join和Broadcast Join（广播Join）的编程实现
Book_Sea的博客
09-12 298
它的基本原理是将小表的数据广播到所有的Executor节点上，然后在每个节点上执行Join操作，避免了数据的Shuffle过程，从而提高了Join操作的性能。它的基本原理是将小表的数据广播到所有的Executor节点上，然后在每个节点上执行Join操作，避免了数据的Shuffle过程，从而提高了Join操作的性能。它可以帮助我们了解Spark作业的各个阶段的执行情况，找出潜在的性能瓶颈，并提供一些建议用于优化Spark作业的性能。该命令会打印出Spark作业的执行计划，包括各个阶段的任务和数据流动情况。
Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜
Big_data_implicit_
12-27 2534
目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...
Spark广播变量（类似小表广播）
最新发布
ABU009的博客
10-20 349
#spark广播变量
Spark参数调优经典实战
weixin_44769733的博客
10-23 2705
一:常用调优参数 #配置文件,使用这个名称application.conf就可以自动读取 #以下是spark的调优参数 #自动广播 spark.sql.autoBroadcastJoinThreshold="10485760" #spark sql shuffle并行度设置 spark.sql.shuffle.partitions="200" #自动广播超时时间 #spark.sql.broad...
spark-sql显示的指明广播join
盛源的博客
04-19 2809
1 dataframe中指明广播join // 1 广播变量参数 conf.set( "spark.sql.autoBroadcastJoinThreshold", "104857600" ) //广播表的上限:单位为B,现设置最大广播100M的表; conf.set( "spark.sql.broadcastTimeout", "-1" ) //广播超时时间:...
SparkSQL之broadcast join
欲望以提升热忱 毅力以磨平高山
06-12 1万+
当数据集的大小小于spark.sql.autoBroadcastJoinThreshold 所设置的阈值的时候， SPARK SQL 使用广播join来代替hash join 来优化join查询。广播join可以非常有效地用于具有相对较小的表和大型表之间的连接，然后可用于执行星型连接。 它可以避免通过网络发送大表的所有数据 你可以使用广播函数或者SQL广播提示来标记一...
spark broadcast side join实例
ZG_24的博客
07-04 1921
在用spark进行大数据处理时，join是少不了的操作。由于join会导致shuffle，所以当数据量较大时，会导致效率很低，甚至任务失败。         为了有效解决shuffle阶段引起的效率过低问题，我们可以使用broadcast map side join来避免shuffle阶段导致的效率变低问题。        使用map side join时，我们可以把一个较小的
SparkSQL中的三种Join及其具体实现（broadcast join、shuffle hash join和sort merge join）
mojolang
02-11 2561
1.小表对大表（broadcast join） 将小表的数据分发到每个节点上，供大表使用。executor存储小表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作Broadcast Join Broadcast Join的条件有以下几个： *被广播的表需要小于 spark.sql.autoBroadcastJoinThreshold 所配置的值，默认是10M （或者加了broadcast join的hint） *基表不能被广播，比如 left outer
Spark SQL调优案例：单字段NOT IN子查询优化
hammertank的博客
07-17 2794
背景 有如下的数据查询场景。 表结构 create table order (order_id long, customer_id long) partitioned by (date string); 要查询当天有订单，但是前一天没有订单的用户在当天的订单记录。 数据分析的同事编写的最初版本的SQL如下 select * from order where date='2021-07-17' and customer_id not in ( select customer_id fr
Spark SQL参数调优指南
longlovefilm的博客
11-19 1万+
目录 1 运行行为 1.1 动态生成分区 1.2 broadcast join 使用hint强制做broadcastjoin： 1.3 动态资源分配 1.4 Shuflle相关 1.5 读ORC表优化 2 executor能力 2.1内存 2.2 executor并发度 2.3 executor读取hive表时单task处理数据量/无shuffle作业小文件合并 2.4 GC优化（使用较少，当尝试其他调优方法均无效时可尝试此方法） 3 driver指标： 3.1 内存 3.2
Spark开发性能调优
热门推荐
vinfly_li的博客
03-01 1万+
Spark开发性能调优 标签（空格分隔）： Spark –Write By Vin 1. 分配资源调优 Spark性能调优的王道就是分配资源,即增加和分配更多的资源对性能速度的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升是成正比的,当公司资源有限,能分配的资源达到顶峰之后,那么才去考虑做其他的调优 如何分配及分配哪些资源 在生产环境中,提交spark作业时...
Spark 调优技巧总结
GitChat
12-04 722
Spark 是大数据处理必备技术之一，在开发工作中必然会面对性能调优和各种问题故障的处理，那么面试官也最爱在这些方面进行机关枪式的提问，本 Chat 就针对当前实际开发工作中常遇到的热门和冷门问题进行归纳式总结。 在本场 Chat 中，会讲到如下内容： Spark 性能调优：从常规、算子、Shuffle、JVM 四个方面讲解。 Spark 数据倾斜解决方式：从七个方案讲解。 Spark 常见问题...
spark三种实现map端join的方式：闭包、广播、缓存文件
javaMylife的博客
01-04 802
前者发送数据的时候，采用bitTolerant协议，首先driver将obj序列化后分为多份，然后某个task获取到一部分之后就可以作为服务器发给另外的task。主要区别：广播变量传输的效率要高于闭包引用，尤其是obj数据比较大时效果明显。后者每个task的obj数据都有driver端序列化后发送过来的。spark中函数体内引用函数体外部变量，有如下两种方式。
Spark 自动转换BroadcastJoin代码分析
sinat_23257429的博客
08-24 789
Spark 自动MapJoin 代码分析
【Spark精讲】Spark五种JOIN策略
话数Science
12-16 5994
Spark JOIN详解，Spark五种JOIN策略，Shuffle Hash Join，Broadcast Hash Join，Sort Merge Join，Cartesian Join，Broadcast Nested Loop Join
spark三种join机制
weixin_59295776的博客
09-27 270
当维度表和事实表进行join操作时，为了避免shuffle，我们可以将大小有限的维度表的全部数据分发到每个节点上，供事实表使用。因为join操作是对两个表中key值相同的记录进行连接，在spark SQL中，对两个表做join最直接的方式是先根据key分区，再在每个分区中把key值相同的记录拿出来做连接操作。当两张表很大时，Spark SQL使用一种新的算法来做Join操作，叫做Sort Merge Join，这种算法并不会加载所有的数据，然后开始Hash Join，而是在Join之前进行数据排序。
共享变量与broadcast join
qq_37283909的博客
05-19 1238
共享变量 通常，当在远程集群节点上执行传递给Spark操作（例如mapor reduce）的函数时，它将在函数中使用的所有变量的单独副本上工作。这些变量被拷贝到每台机器上。并且远程计算机上的变量的更新不会传播回驱动程序。这样读写共享变量效率低下。但是，Spark确实为两种常见的使用模式提供了两种有限类型的共享变量：广播变量（broadcast variables）和计数器( accumulator...
Spark的join类型和策略
互联网知识分享
05-17 749
小结：虽然spark 是自动选择join策略类型的，但由于 Spark 的计算引擎优化器不是万能的，有些场景下会选择错误的 Join 策略，所以 Spark 2.4 & Spark 3.0 引入了 Join hint，也就是用户可以自己选择 Join 策略。和 MySQL 一样，如果 Spark 中两张参与 Join 的表没指定 where 条件（ON 条件）那么会产生 Cartesian product join，这个 Join 得到的结果其实就是两张行数的乘积。
Spark中Join实现原理
jinjiating的专栏
11-21 2479
spark中join实现方式
Spark调优：征服数据倾斜，优化性能
"Spark作业调优秘籍，解数据倾斜之痛" Spark作业调优是大数据处理中的重要环节，尤其在面临数据倾斜时，调优显得至关重要。数据倾斜是指在Spark作业执行过程中，由于某些键（key）对应的分区数据量远超其他键，导致...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值