Spark调优学习记录（七）语法优化之广播Join

已于 2024-04-14 13:42:35 修改
阅读量301 收藏 5
点赞数 1
分类专栏： Spark调优学习记录 文章标签： spark 学习 大数据
于 2024-04-14 13:37:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuliangwan_jiangyan/article/details/137741885
版权

Spark join中，如果小表足够小，可以先缓存到内存，使用Broadcast Hash join。

原理是将小表聚合到driver端，再广播到各大表分区，进行join时，大表的各个分区与小表进行本地join，规避shuffle。

自动广播

参数

spark.sql.autoBroadcastJoinThreshold

默认值

10 * 1024 * 1024
10M，默认开启，禁用赋值-1

举例

广播前

代码

执行计划

执行10s

有shuffle

sortMergeJoin

广播后

代码

执行计划

执行62ms

无shuffle

BroadcastHashJoin

强行广播

虽然参数关闭啦，但是有以下几个方式，强行广播，略略略~~

SQL Hint方式

代码

执行计划

API方式

代码

执行计划

Ale_77
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
5-sparksql-join
github_28583061的博客
07-08 359
join 操作 join 笛卡尔积 代码流程 spark.conf.set("spark.sql.autoBroadcastJoinThreshold", -1) // 关闭 broadcast hit //1 加载数据成DataFrame val df = spark.read.json("examples/src/main/resources/people.json&#...
Spark调优 Spark应用程序性能优化
09-21
分配更多的资源是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能...
SparkSQL之broadcast join
欲望以提升热忱 毅力以磨平高山
06-12 1万+
当数据集的大小小于spark.sql.autoBroadcastJoinThreshold 所设置的阈值的时候， SPARK SQL 使用广播join来代替hash join 来优化join查询。广播join可以非常有效地用于具有相对较小的表和大型表之间的连接，然后可用于执行星型连接。 它可以避免通过网络发送大表的所有数据 你可以使用广播函数或者SQL广播提示来标记一...
Spark参数调优经典实战
weixin_44769733的博客
10-23 2234
一:常用调优参数 #配置文件,使用这个名称application.conf就可以自动读取 #以下是spark的调优参数 #自动广播 spark.sql.autoBroadcastJoinThreshold="10485760" #spark sql shuffle并行度设置 spark.sql.shuffle.partitions="200" #自动广播超时时间 #spark.sql.broad...
SparkSql 一张大表被广播 问题排查
weixin_38148824的博客
03-02 1001
SparkSql 一张大表被广播
spark-sql显示的指明广播join
盛源的博客
04-19 2709
1 dataframe中指明广播join // 1 广播变量参数 conf.set( "spark.sql.autoBroadcastJoinThreshold", "104857600" ) //广播表的上限:单位为B,现设置最大广播100M的表; conf.set( "spark.sql.broadcastTimeout", "-1" ) //广播超时时间:...
关于spark.sql.autoBroadcastJoinThreshold设置
热门推荐
goodstudy168的专栏
11-05 2万+
今天使用spark对一组大数据进行合并作join操作，一直都报下面的错： Exception in thread “broadcast-exchange-0” java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes 想来想去，之前也跑过这类的任务，并且都...
Spark广播变量之超大表left join小表时如何进行优化以及小表的正确位置
是故事啊~关注我~
09-22 7454
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划（physical plan）阶段，Spark 的 JoinSelection 类会根据 Join hints 策略、Join 表的大小、 Join 是等值 Join（equi-join） 还是不等值（non-equi-joins）以及参与 Join 的 key 是否可以排序等条件来选择最终的 Join 策略（join strategies），最后 Spark 会利用选择好的 Join 策略执行最终的计算。 BHJ 又称
Spark性能优化：shuffle调优
01-29
但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末...
大数据技术之Spark调优
05-03
本文主要关注的是Spark SQL的调优，因为Spark SQL在Spark 3.0大版本中占据了核心地位，为其他子框架如Mllib、Streaming和Graph提供了性能优化的基础。 首先，理解Spark SQL的执行计划至关重要。通过`explain`方法，...
【Spark调优篇04】Spark之JVM调优1
08-04
Spark调优篇04Spark之JVM调优1 本文档主要讲解了 Spark 之 JVM 调优的相关知识点，涉及到 JVM 调优的重要性、缓存操作的内存占比、统一内存管理机制、Executor 堆外内存的调节、连接等待时长的设置等内容。 JVM ...
【Spark调优篇03】Spark之Shuffle调优1
08-04
通过上述五个方面的调优，可以有效地优化Spark的Shuffle操作，减少磁盘IO，提高网络传输效率，增强容错性，并根据应用需求平衡内存和CPU资源的使用，从而提升整体作业性能。在实际应用中，应结合具体场景和资源限制...
Spark_Spark_ERROR关于spark.sql.autoBroadcastJoinThreshold设置
迎难而上
06-10 4352
SparkSQL 相关文档 ： http://spark.apache.org/docs/2.4.4/sql-performance-tuning.html 今天使用spark对一组大数据进行合并作join操作，一直都报下面的错： Exception in thread “broadcast-exchange-0” java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all w...
Spark_SparkSQL_broadcast join不生效问题
迎难而上
09-06 281
大数据计算通常会存在大表join小表的情况，如果相对较小的表允许广播到各个executor的话，可以使用广播方式mapjoin，这样还可以避免数据倾斜。看到auto以为spark执行join时候会根据表的大小自动切换广播join；
Spark 之 Join
zhixingheyi_tian的博客
12-29 787
Spark 之 Join
SparkSQL中的三种Join及其具体实现（broadcast join、shuffle hash join和sort merge join）
hellojoy的博客
02-04 3517
https://blog.csdn.net/wlk_328909605/article/details/82933552 1.小表对大表（broadcast join） 将小表的数据分发到每个节点上，供大表使用。executor存储小表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作Broadcast Join Broadcast Join的条件有以下几个： *被广播的表需要小于 spark.sql.autoBroadcastJoinThresho.
sparkSQL的三种join（broadcast join、shuffle hash join和sort merge join）以及AE
rong_king_的博客
04-07 7184
每天一个小例子： spark中， 1.left semi join （左半连接）的意思就是， JOIN 子句中右边的表只能在 ON 子句中设置过滤条件，右表中有重复的数据会自动跳过，具体详见：https://blog.csdn.net/happyrocking/article/details/79885071 2. left anti join 含义：left anti join 是 not in/not exists 子查询的一种更高效的实现，相当于not in或者not exists，left anti
SparkSQL – Join分析
zhexiao
11-06 570
Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤操作-where、排序操作-limit等），聚合操作-groupBy以及Join操作等。其中Join操作是其中最复杂、代价最大的操作类型。另外，从业务层面来讲，用户在数仓建设的时候也会涉及Join使用的问题。通常情况下，数据仓库中的表一般会分为”低层次表”和“高层次表”。所谓”低层次表”，就是数据源导入数仓之后直接生成
Scala与Spark：大数据处理的完美组合
最新发布
2401_85639015的博客
08-07 940
函数式编程：支持高阶函数、不可变数据结构等。面向对象编程：支持类和对象的定义，并具备继承、多态等特性。与Java兼容：可以与Java代码互操作，方便使用现有的Java库。表达能力强：代码简洁，能够用更少的代码实现更多功能。Apache Spark是一个开源的分布式计算框架，用于处理大规模数据集。内存计算：通过将数据存储在内存中，显著提升计算速度。RDD（弹性分布式数据集）：提供了一个可以并行处理的数据结构。支持多种编程语言：包括Java、Python、Scala和R。丰富的库支持。
spark调优 | 不可避免的 join 优化
03-16
join操作是Spark中最常见的操作之一，但是如果不进行优化，它可能会成为Spark应用程序的瓶颈。为了优化join操作，可以采取以下措施： 1. 使用广播变量：如果一个表很小，可以将其广播到所有的节点上，这样可以避免...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值