关于Spark动态分区裁剪在3.3版本之前的BUG记录

最新推荐文章于 2024-10-08 09:12:18 发布
最新推荐文章于 2024-10-08 09:12:18 发布
阅读量386 收藏
点赞数
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23257429/article/details/127074328
版权

背景：
最近在测试Spark动态分区裁剪的时候发现某些SQL明明应该能走DPP的在执行时却无法应用DPP的优化，但是某些Case又可以
然后在排查的过程中发现能走DPP的case表类型是ORC而无法走DPP的表是TextFile ,所以拉了下spark3.2 与最新的spark3.3的代码
来对比看看是否有什么改动，对比后发现果然是这里spark3.3（❤️.3）之前的版本代码缺失了对HiveTableRealtion的支持，然后
找到了3.3.分支的commit信息，最终找到了如下patch
https://github.com/apache/spark/commit/32e11ea1423ec25ed6a6b9aedaa7a9d26220244a
这里直接按照patch对相关代码合并到3.2版本。

ThomasgGx
关注
专栏目录
Spark面试全攻略：深入理解与高效准备指南
击水三千里的专栏
01-27 800
这份文档提供了全面的Spark面试准备指南，涵盖了从基础到高阶的面试问题，包括Spark的核心概念、API使用、性能优化技巧以及最新的Spark特性。文档结构清晰，内容详实，旨在帮助面试者深入理解Spark框架，提升面试表现。
spark 读取hive分桶表 无shuffle join
yy的博客
04-20 585
- 分桶join bucketjoin hive分桶 spark分桶 分桶优化 分桶join优化。
来自数砖大佬的 130页 PPT 深入介绍 Apache Spark 3.2 & 3.3 新功能
过往记忆大数据
07-01 286
本文 PPT 材料来自 DATA + AI SUMMIT 2022 6月29日标题为《Data Deep Dive into the New Features of Apache Spark 3.2 and 3.3》分享的全文 PPT，大约130页，分享者来自数砖的 Daniel Tenedorio、范文臣以及李潇等大佬。关于本文对应的视频将在后期上传，敬请关注过往记忆大...
spark插入动态分区代码报错
cclovezbf的博客
11-07 2426
config("hive.metastore.dml.events","false") 就好了。windows确实好了。.config("hive.exec.dynamic.partition.mode", "nonstrict")//动态分区。.config("hive.metastore.dml.events","false")//动态分区。但是我在服务器跑代码反复测试 都是可以重复插入分区的。window实在是难搞。dataset第一次插入分区没有问题，但是第二次重新跑的时候。
大数据_Spark3.0新特性
日积月累，水滴石穿
09-06 2071
所有这些自适应手段都是在查询计划执行时运用的，如图 3 所示。查询任务中的 Spark 操作是串起来在并行进程中执行的，但数据混洗或数据广播会打断流水线的执行，因为一个执行阶段的输出需要作为下一个执行阶段的输入。简单地说，这种二次优化是动态执行的，如图 3 所示，目标是动态合并混洗分区，减少读取混洗输出数据所需要的归约任务的数量，在合适的时候转换连接策略，并且解决连接时出现的数据倾斜问题。动态分区裁剪优化技术的关键是，将维度表过滤结果注入扫描事实表的操作，使其成为扫描时的过滤条件，从而限制读取的数据量.
ApacheSpark3.0动态分区裁剪
github_28583061的博客
07-01 280
Apache Spark 3.0 动态分区裁剪 静态分区裁剪（Static Partition Pruning） spark sql 在执行查询的时候根据过滤条件实现谓词下推，分区剪裁，跳过不必要的分区，减少读取数据量 select * from sales where day_of_week = "mon" spark 在编译时会把filter算子下推到数据源，转成数据...
Spark 3.0新特性 - 动态分区裁剪
chg1226的博客
05-03 1978
Spark 3.0 new features - Dynamic Partition Pruning 什么叫Portioning Pruning？ 翻译成中文就是分区裁剪，简单说就是数据过滤，只从必要的分区拿数据，通过减少IO以提高性能。 那为什么叫Dynamic Portioning Pruning，动态分区裁剪？为了理解这个概念，我们先理解一下static partition pruning，即静态分区裁剪。 静态分区裁剪 现有SQL如下 Select * from Students where sub
Spark问题排查方式
Samooyou的博客
06-06 354
spark
Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet
段智华的博客
01-24 916
Spark视频王家林大神第1课： 30分钟彻底理解Spark核心API发展史：RDD、DataFrame、DataSet本节通过Spark核心API的发展史，带领大家学习和理解Spark的内幕，在Spark的发展史上，经历了三代API：第一代是RDD、第二代是DataFrame、第三代是DataSet。RDD是Spark中绝对的核心和基础性的抽象，DataFrame是Spark 1.3.x推出的，
hive: 优化配置及bug查询路径
皮皮blog
02-07 1822
mapper数量与输入文件的split数息息相关，在Hadoop源码org.apache.hadoop.mapreduce.lib.input.FileInputFormat类中可以看到split划分的具体逻辑。如果想增大mapper数，除了降低mapred.min.split.size之外，也可以调高mapred.map.tasks。参数mapred.min.split.size（默认值1B）和mapred.max.split.size（默认值64MB）分别用来指定split的最小和最大大小。
Spark3新特性之动态分区裁剪（Dynamic Partition Pruning，DPP）
weixin_45162906的博客
07-25 2333
Spark3动态分区裁剪（Dynamic Partition Pruning，DPP） 参数：spark.sql.optimizer.dynamicPartitionPruning.enabled 默认开启 执行条件： ①、需要剪裁的表必须是分区表且分区字段必须在on条件中 ②、join类型必须是 inner、left（右表是分区表）、right（左表是分区表）、left semi（右表是分区表） ③、spark.sql.optimizer.dynamicPartitionPruning.useStats
Spark 3.0 Dynamic Partition Pruning 动态裁剪分区
lucklilili
06-05 636
Dynamic Partition Pruning动态裁剪分区
205.Spark（十二）调优三：动态合并分区，优化join，动态分区裁剪，五中join策略，常见故障排查
鹏哥哥Aaa
06-27 304
动态合并分区，优化join，动态分区裁剪，五中join策略，常见故障排查
【spark系列11】spark 的动态分区裁剪下(Dynamic partition pruning)-物理计划
monkeyboy_tech的博客
01-12 928
背景 本文基于delta 0.7.0 spark 3.0.1 spark 3.x引入了动态分区裁剪，在 spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划我们提到在逻辑计划阶段会加入DynamicPruningSubquery，今天我们分析一下在物理阶段怎么对DynamicPruningSubquery进行优化以及实现的 分析 直接转到PlanDynamicPruningFilters的apply方法： override def apply(plan: SparkP
一文了解 Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）的使用
过往记忆大数据
11-10 1841
福利：过往记忆大数据知识星球双11限时折扣，原价99元，现价39元，需要的先加 fangzhen0219 微信了解详情，三天内不满意随时全额退。星球没有花哨玩法，主要就是大数据相关问题答疑，能力范围内知无不言、大数据相关资料分享、大数据原创技术文章分享等。另外，本知识星球有效期到2020年4月28日，到期需续费。Spark 3.0动态分区裁剪（Dynamic Partition Pruning）...
Spark DPP(动态分区裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决
热门推荐
monkeyboy_tech的博客
02-26 2万+
背景 本文基于spark 3.1.2,且运行在yarn模式下 最近在调试 spark sql的时候遇到了空指针的问题，如下： Caused by: java.lang.NullPointerException at org.apache.spark.sql.execution.DataSourceScanExec.$init$(DataSourceScanExec.scala:57) at org.apache.spark.sql.execution.FileSourceScanExec.<in
技术前沿｜Spark 3.3.0 中 DS V2 Push-down 的重构与新特性
Kyligence
06-27 852
在本文中，作者将对 Spark 3.2 DS V2 Push-down 框架进行深入分析，并分享 Kyligence 开源团队是如何在 Spark 3.3.0 中完成对 DS V2 Push-down 的重构与改进的，欢迎大家在评论区分享你的看法。
SparkCore与FlinkCore的区别有哪些
weixin_41870061的博客
10-07 837
【代码】SparkCore与FlinkCore的区别有哪些。
大数据行业应用实训室建设方案
最新发布
whwzzc的博客
10-08 1174
大数据项目实训平台确实是一个功能强大的工具，它不仅能够满足学校各种形式的实训教学活动需求，如实训周、小学期、综合课程设计等，还能提供小组分工协作的支持，为每个项目小组分配一套虚拟服务器集群，确保实训的顺利进行。唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。此外，实训资源的不足严重阻碍了学生技能的培养。
Spark动态分区算法：解决数据倾斜提升效率
本文主要探讨了Spark中的动态分区算法设计与实现，由阎逸飞和王智立两位作者针对北京邮电大学网络技术研究院进行的研究。Spark作为一种广泛应用的分布式计算框架，其核心优势在于处理大规模数据和并行计算，但面对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值