spark从入门到放弃二十一:Spark 性能优化(4)对多次使用的RDD进行持久化或者checkpoint

最新推荐文章于 2024-03-25 08:55:59 发布
最新推荐文章于 2024-03-25 08:55:59 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： 大数据 spark 文章标签： spark 性能优化 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012957549/article/details/79688207
版权
spark 同时被 2 个专栏收录
122 篇文章 15 订阅
订阅专栏
大数据
43 篇文章 1 订阅
订阅专栏

文章地址:http://www.haha174.top/article/details/254892
这里写图片描述

如图在这里可以很清楚的看到对一个RDD前后进行了两次操作。在第一次的时候先计算出一个RDD然后计算出第二个RDD继续往后计算。
但是对第二次RDD操作在执行的时候，由于RDD数据在执行完成之后很有可能会被立即丢弃那么这个时候就需要重新计算第一个和第二个RDD了

我们可以把第二个RDD的计算结果进行持久化放入到BlockManager。

这个时候第二次计算这个RDD的时候直接从BlockManager中取数据不需要在在一次计算第一和第二次RDD。
但是有可能存储在BlockManager中的数据会丢失掉那么在第二次计算这个RDD的时候发现没有数据会尝试取检索checkpoint的值如果读取失败则需要重新计算。
所以针对这种情况那么在第一次计算RDD的时候将数据存入到checkpoint。哪怕数据丢失了也可以在checkpoint 中找到。

欢迎关注，更多福利

这里写图片描述

WQ同学
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【SparkCore篇05】RDD缓存和checkpoint1
08-04
与缓存不同，checkpoint会将RDD及其依赖关系写入持久化存储（如HDFS），并且删除原有依赖信息，这样即便发生故障，可以从最近的checkpoint点快速恢复，降低容错成本。在Spark中，我们使用`RDD.checkpoint()`方法设置...
spark batch checkpoint jar
12-20
当启用checkpointing时，Spark会在每个RDD（弹性分布式数据集）经过若干个转换操作后，将其转换为更稳定的持久化形式——序列化到磁盘或内存。一旦RDD被检查点化，它的血统（lineage）就会被截断，从而减少在故障...
spark-持久化策略
weixin_47869733的博客
03-28 1910
持久化 在java中，把数据写入数据库的过程 在spark中，把RDD临时永久地写入到节点地某个位置（磁盘或内存） 永久：避免当前RDD被当作垃圾回收掉，对其永久保存 临时：即使做了持久化，在内存中也不是绝对地安全 ​ a.由于某种特殊情况，会被当作垃圾回收掉 ​ b.没有意外情况下，根据LRU也会被当作垃圾回收掉 容错机制 如果持久化的数据丢失了，spark会自动从HDFS上找数据重新计算到这个位置，自动持久化。 使用 缓存算子： cach.
RDD Checkpoint
feizuiku0116的博客
11-21 252
一、RDD Checkpoint介绍 RDD数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等 Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在HDFS上，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错和高可用 在Spark Core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将
Spark结合多线程批量执行任务
雾岛与鲸的博客
02-27 1287
若该任务申请到10个core，10G内存，而在执行第一个sql1时，job只使用了4个Core和2G内存，那么就造成了资源的浪费和剩下的任务还在等待该job的执行，不能做到资源的合理使用，而且任务时串行执行效率慢。await()方法会一致阻塞，直到计数器的值减为0，才会释放锁，以便所有任务执行完毕后继续执行下一步操作。注意：任务中视图表的创建、临时表的创建、等共享变量的创建，多个任务同时执行时，会造成同时使用!返回值Future 的get()方法是个阻塞方法，会等待结果的返回，直到任务结束。
Spark 检查点（checkpoint）
最新发布
03-25 4万+
Checkpointing可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)， 即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。开发人员可以是来方法来设置检查点。在使用检查点之前，必须使用方法设置检查点目录。所以其实我们的checkpoint主要用于Spark Streaming任务。
如何理解Spark RDD CheckPoint检查点？与缓存区别？
zjjcchina的博客
11-14 108
建议对checkpoint()的RDD使用Cache缓存，这样checkpoint的job只需从Cache缓存中读取数据即可，否则需要再从头计算一次RDD；访问http://localhost:4040/jobs/页面，查看4个job的DAG图。第1个job执行完，数据就保存到Cache里面了，第2个job运行checkpoint，直接读取Cache里面的数据，并把数据存储在检查点上。第1个job执行完，触发了checkpoint，第2个job运行checkpoint，并把数据存储在检查点上。
Spark从入门到精通
07-14
Spark二次排序，Spark分组取topn，DataFrame与RDD的两种转换方式，Spark SQL的内置函数、开窗函数、UDF、UDAF，Spark Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与...
《Spark编程基础及项目实践》课后习题及答案3.pdf
04-04
- Checkpoint机制：Spark还可以通过设置检查点将RDD结果持久化到磁盘，以减少故障恢复时的计算量。 这些习题覆盖了Spark的基础知识，包括架构、计算模型、内存管理和容错策略，这对于理解和应用Spark进行大数据...
spark封神之路(12)-RDD checkpoint
HANG.NIAN
06-23 414
1 checkpoint介绍 把rdd中的数据，直接存储到hdfs中或者本机目录中。 适用场景： 非常非常非常不容易得到的数据。迭代次数非常多的数据 SQL Server 数据库引擎可以在意外关闭或崩溃后从恢复期间开始应用日志中包含的更改 HDFS的元数据管理的时候我们提到过checkpoint机制 , 定期更新元数据的一种策略 所以你可以简单理解成 Checkpoint 是用来容错的，当错误发生的时候，可以迅速恢复的一种机制A checkpoint creates a known
Spark调优多线程并行处理任务实现方式
08-18
主要介绍了Spark调优多线程并行处理任务实现方式,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
spark学习笔记2——rdd、执行过程
tianyuzui6的博客
07-19 710
RDD在Spark中运行，主要分为以下三步spark集群架构执行过程。
Spark基础【运行架构、RDD】
weixin_43923463的博客
08-06 602
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。RDD计算模型更适合并行计算和重复使用。实现并行计算条件：在内部将数据分开（分区），将各个分区的数据发送给多个节点（Executor）进行计算实现重复使用条件：计算单一，功能简单，从java角度理解就是能抽取出通用方法。...
RDD的特性 ---- RDD的checkpoint
懂得一千零一种,赋予你失败的方法！
11-24 378
RDD的特性 ---- RDD的checkpoint 一、Checkpoint的作用 Checkpooint的主要作用是斩断Rdd的依赖链，并将数据存储在引擎中，例如分布式存储和副本机制的HDFS中。本质上Checkpoint也是一种缓存机制。 1.Checkpoint的方式 2.什么是斩断依赖链 3.Checkpoint和cache的区别 注意： 最本质的区别在于Checkpoint将RDD计算出来存储在可靠的HDFS上，并且可以斩断依赖链，若出错可以直接通过赋值HDFS中的文件实现容
Spark之多线程安全问题 ,RDD的错误示范,累加器(分布式计算器) ,shuffle算子特殊情况 ,调用别人的API怎么操作(9)
桂林算啦粉的博客
10-05 1231
一 多线程安全问题 二 定期更新规则 三 累加器 用来统计数据处理的条数 ,在Task局部聚合 ,再到Driver端sum 在Driver端定义累加器 ,有以下三种形式 : 1)collectionAccumulator :将异常数据保存到集合里面 2)longAccumulator("累加器的名字") 3) DoubleAccumulator无参 val rdd1 = parallelize(List(1,2,3,4,5,6)) ---在Driver端定义...
Spark RDD机制（持久化、依赖关系、checkpoint）
libaowenBlog的博客
08-18 898
一、RDD持久化 二、RDD的依赖关系 三、checkpoint机制
SparkCore之RDD的Checkpoint详解
LBJ_小松鼠的博客
01-16 276
简介: RDD 数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的(内存意失)；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。 Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在在HDFS上，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错和高可用。 RDD的查点机制: 1-什么是检查点机制 就是使用CheckPoint将数据保存在HDFS等非易失的介质中
Spark性能调优：RDD的复用以及RDD持久化
weixin_42401666的博客
05-21 350
避免创建重复的RDD 通常来说，开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算子操作，然后得到下一个RDD；以此类推，循环往复，直到计算出最终我们需要的结果。在这个过程中，多个RDD会通过不同的算子操作（比如map、reduce等）串起来，这个“RDD串”，就是RDD lineage，也就是“RDD的血缘关系链”。 我们在开发过程中要注意：对于同一份数据，只应该创建一个RDD，不能创建多个RDD来代表同一份数据。 在.
Spark系列之Spark的RDD详解
luoyepiaoxue2014的博客
11-28 3769
Spark系列之Spark的RDD详解
Spark全面解析：从基础到优化
RDD的API包括创建、转换和行动操作，同时支持持久化和缓存以优化性能。RDD的容错机制包括Checkpoint，通过保存中间结果以恢复失败的任务。DAG的生成和划分Stage是Spark调度的基础，用于优化任务执行。 SparkSQL是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值