记一次Spark cache table导致的数据问题以及思考

于 2024-05-22 19:54:53 发布
阅读量495 收藏 4
点赞数 4
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/monkeyboy_tech/article/details/139128241
版权

目前在做 Spark 升级(3.1.1升级到3.5.0)的时候，遇到了cache table导致的数据重复问题，这种情况一般来说是很少见的，因为一般很少用cache table语句。
当然该问题已经在Spark3.5.1已经解决了,可以查看对应的 SPARK-46995和SPARK-45592
从以上的分析知道：是在做join的一方(包含了AQEshuffleRead-coalesced) 影响了join的另一方，导致EnsureRequirements规则在做执行前检查的时候，会把join的另一个方的shuffle 数据调整为 包含了AQEshuffleRead-coalesced）的一方：

                      Scan
                       |
                   Shuffle(200)
                       |
  Scan           AQEShuffleRead(10)
   |                   |
Shuffle(10)   InMemoryTableScanExec
    \            /
         Join

这会导致shuffle后的数据进行了错位（因为之前是shuffle(200),现在变成了shuffle(10)），具体原因笔者还是没有分析清楚，但是其中涉及到的点跟规则EnsureRequirements 以及 CoalesceShufflePartitions 有关，
EnsureRequirements 会做一些执行前的判断，主要是做任务shuffle的协调，
CoalesceShufflePartitions 中 collectCoalesceGroups 会收集 QueryStageExec ，如果是 join 的话，则会join的子节点会收集到一个组里去，这样就能看到 join中会有 AQEShuffleRead coalesced 成对出现

问题：Spark SQL 读不到 Flink 写入 Hudi 表的新数据，打开新 Session 才可见
Laurence的技术博客
02-21 1435
使用 Flink 向 Hudi 表中写入数据，使用 Spark SQL 的 Shell 查询 Hudi 表（使用的是 Hudi HMS Catalog 统一管理和同步 Hudi 表的元数据），结果在 Spark 中只能查询到打开 Shell 之前表中的数据，之后通过 Flink 写入的数据不可见，但重新打开一个新的 Spark SQL Shell，就可以看到了。
SparkSQL缓存的用法
最新发布
SunnyRivers
08-27 1044
CACHE TABLE（缓存表）UNCACHE TABLE（清除指定缓存表）CLEAR CACHE（清除所有缓存表）下面我们详细讲解这些语句的使用方法。
Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table
热门推荐
OopsOutOfMemory盛利的博客
09-25 1万+
Spark SQL缓存到内存中的数据的存储策略
Spark SQL利器：cacheTable/uncacheTable
zdy0_2004的专栏
11-04 1027
http://www.cnblogs.com/yurunmiao/p/4936583.html Spark相对于Hadoop MapReduce有一个很显著的特性就是“迭代计算”（作为一个MapReduce的忠实粉丝，能这样说，大家都懂了吧），这在我们的业务场景里真的是非常有用。   假设我们有一个文本文件“datas”，每一行有三列数据，以“\t”分隔，模拟生成文件的代码如下：  
Spark原理之Cache Table的工作原理及实现自动缓存重复Table Scan的思考
Dreamming Time的博客
04-26 2043
CACHE TABLE，可以让用户自定义要缓存的结果集，实际上就是一个临时表，不过数据存储在Spark集群内部，由Application所分配的executors管理。 一旦定义了一个缓存表，就可以在SQL脚本中随处引用这个表名，提高数据检索速度，同时也会资源不必要的资源开销。
SparkSQL 技巧 - cache table 缓存 和 stack生成列
huochuangchuang的专栏
04-13 2212
–缓存性别表，表名sex，字段名sex，有2行 cache table sex_table as select stack(2,‘M’,‘F’) as sex; –缓存缴费期表，表名ppp_table，字段名ppp，有4行 cache table ppp_table as select stack(4,10,15,20,30) as ppp; –生成一个1~200的顺序表。因为接下来的连续的投保年龄，和连续的保单年度，都不会超过200，所以200已经够用。 cache table seq_table as
spark sql cache
感谢你的关注~~~~ღ( ´･ᴗ･` )
10-15 950
https://blog.csdn.net/lsshlsw/article/details/48662669
SparkSql Cache Table类语法编译原理
JiajunBernoulli的博客
10-12 1890
最近需要在自研的引擎实现SparkSQL的Cache Table逻辑，于是调研了一下相关语法的原理。
记一次Spark ThriftServer Bug排查
Deegue
07-01 2559
问题描述 我们在用Spark ThriftServer（以下简称STS）用在查询平台时，遇到了以下报错： ERROR SparkExecuteStatementOperation: Error executing query, currentState RUNNING, org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.q...
spark 缓存表的使用
LXP
11-30 3826
spark 几种缓存数据的方法1- 缓存表2-缓存结果查看3-缓存参数设置 1- 缓存表 1、cache table //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") CACHE TABLE是即时生效(eager)的，如果你想等到一个action操作再缓存数据可以使用CACHE LA
Spark的cache与checkpoint优化
king_a_123的博客
12-05 1637
1.SPARK中一些通用的或者重要的RDD最好是做一个cache缓存，缓存到内存或者硬盘中，这样下次用到这个RDD数据的时候就不用从头开始计算了，直接从缓存读取即可！ 2由于某种原因也可能我们用cache或者Persist缓存的RDD数据，也可能会出现缓存这些数据的一部分机子突然挂掉等，如果此时还想更保险的保存该RDD的结果，最好就checkpoint一下，将checkpointDir设置为HD
spark cache (几种缓存方法)
一条咸鱼的博客
11-27 3370
sql语句中cache //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") //取消缓存 sqlContext.sql("UNCACHE TABLE activi...
Spark性能调优
踏雪无痕
05-23 561
一.缓存 对于某些工作负载，可以通过在内存中缓存数据或打开某些实验选项来提高性能。 Spark SQL可以通过调用spark.catalog.cacheTable(“tableName”)或使用内存列式格式缓存表dataFrame.cache()。然后，Spark SQL将仅扫描所需的列，并将自动调整压缩以最大程度地减少内存使用和GC压力。可以调用spark.catalog.uncacheTable(“tableName”)从内存中删除表。 可以在SparkSession上使用setConf设置或SET k
Spark中cache、persist、checkpoint区别
weixin_43866709的博客
03-22 529
spark中的cache、persist、checkpoint都可以将RDD保存起来，进行持久化操作，供后面重用或者容错处理。但是三者有所不同。
spark中的cache和checkpoint
JustinMars的博客
07-30 1674
spark总结
SparkSQL之缓存表
tangshiweibbs的专栏
04-19 2882
val conf = new SparkConf().setMaster("local").setAppName("ScalaDataFrameOps") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) val listRDD = sc.parallelize(List("zhangsan 13 1
spark cache table
weixin_30387799的博客
12-01 395
http://www.07net01.com/2015/11/961118.html http://www.cnblogs.com/charlotte77/p/5468968.html 文本读入和写出格式 转载于:https://www.cnblogs.com/zhangbojiangfeng/p/6122930.html
sparkstreaming微批merge into数据到Delta Table中，针对Delta Table有哪些优化方式、以及具体优化参数，请详细介绍和说明，并提供具体示例
06-09
针对 Delta Table，有以下几种优化方式： 1. 压缩：Delta Table 支持多种压缩格式，包括 Snappy、Gzip、LZO 等。使用压缩格式可以减少磁盘空间占用和网络传输消耗，从而提高性能。 2. 合并操作：Delta Table 支持合并操作，可以将多个小文件合并成一个大文件，减少文件数量，提高查询性能。可以通过设定合并大小（`maxBytesPerTrigger`）和合并间隔时间（`triggerInterval`）来控制合并策略。 3. 分区优化：Delta Table 支持对数据进行分区，可以根据查询条件进行分区裁剪，提高查询性能。可以通过设定分区字段（`partitionBy`）来进行分区优化。 4. 缓存数据：Delta Table 支持将数据缓存到内存或磁盘中，可以加速后续的查询操作。可以使用 `cache()` 或 `persist()` 函数来进行数据缓存。 具体优化参数如下： 1. `maxBytesPerTrigger`：控制合并操作的文件大小，默认为 `128 MB`。 2. `triggerInterval`：控制合并操作的时间间隔，默认为 `1 minute`。 3. `partitionBy`：指定分区字段，用于分区优化。 4. `cache()` 或 `persist()`：用于缓存数据。 下面是一个具体的示例： ```python from pyspark.sql.functions import * from delta.tables import * # 创建 Delta Table deltaTable = DeltaTable.forPath(spark, "/path/to/delta") # 读取数据 streamingDF = spark.readStream.format("delta").load("/path/to/streaming") # 对数据进行处理 processedDF = streamingDF.groupBy("key").agg(sum("value").alias("total")) # 将数据写入 Delta Table processedDF.writeStream.format("delta") \ .option("checkpointLocation", "/path/to/checkpoint") \ .option("mergeSchema", "true") \ .option("maxBytesPerTrigger", "256 MB") \ .option("triggerInterval", "5 minutes") \ .partitionBy("key") \ .outputMode("update") \ .foreachBatch(lambda batchDF, batchId: deltaTable.alias("oldData") .merge(batchDF.alias("newData"), "oldData.key = newData.key") .whenMatchedUpdate(set={"total": col("newData.total")}) .whenNotMatchedInsert(values={"key": col("newData.key"), "total": col("newData.total")}) .execute()) \ .start() ``` 上述示例中，我们将流式数据进行了聚合操作，并将结果写入 Delta Table。在写入过程中，我们指定了一些优化参数，如合并大小和时间间隔、分区字段等，以提高性能。同时，我们还使用了 Delta Table 的 `merge` 操作，将新数据合并到旧数据中，实现了增量更新的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值