Spark Checkpoint&Persist&Cache持久化区别

最新推荐文章于 2023-06-13 17:00:18 发布
最新推荐文章于 2023-06-13 17:00:18 发布
阅读量185 收藏 1
点赞数
分类专栏： spark入门到精通 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24186017/article/details/120428889
版权

1.cache: 将数据临时存储在内存中进行数据的重用

2.persist:将数据临时存储在磁盘文件进行数据重用，设计磁盘IO，性能较低，但是数据安全，任务执行完毕，临时保存的数据文件就会丢失

3.checkpoint：将数据长久的保存在磁盘文件，为了保证数据安全，会独立执行作业。  可以配合chache使用。

checkpoint会切断血缘关系，重新建立新的血缘

    mapRDD.cache()
    mapRDD.checkpoint()

Adobee Chen
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark checkPoint Demo
01-07
import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.ReceiverInputDStream object ...
spark 的checkpoint与cache、persist的区别
祁东握力的博客
02-18 472
转载自：https://www.jianshu.com/p/b0a66c64bd85 ----- 这一段是我的补充 persist其实也可以选择把数据存到磁盘中（没找到能够存hdfs的方法，所以应该是存在executor执行的机器的本地磁盘，当然，可以存多份） 而checkpoint既可以选择存在本地磁盘，也可以选择存到hdfs，具体在配置文件中配置。 其他的区别其实就是下面正文讲的了。...
Spark中Cache，persist和Checkpoint的区别
最新发布
yanghao201607030101的博客
06-13 534
spark中rdd保存以提高效率或实现可靠的方式
spark源码（七）RDD cache、persist、checkpoint功能区别和源码解析
Interest1_wyt的博客
07-17 875
RDD cache、persist、checkpoint功能区别和源码解析
spark的cache/persist与checkpoint区别简单小结
百物易用是苏生
01-19 419
参考文章:https://blog.csdn.net/ljp812184246/article/details/53897613 提炼结论: 1. cache就是persist,计算的时候快照一份到内存中,计算不下可以设置溢写到磁盘;默认只缓存到内存(若果内存不够,放不下会根据血缘系统计算缺失的部分),当driver(sparkContext)结束就没了(包括磁盘上 的数据);用于同一个submit提交任务中经常使用的中间rdd 2. checkpoint就是相当于copy计算一份rdd到磁盘上.
spark中的cache()、persist()和checkpoint()的区别
qq_56870570的博客
03-03 5727
首先，这三者都是做RDD持久化的，cache()和persist()是将数据缓存在内存中，checkpoint()是将数据做物理存储的（本地磁盘或Hdfs上）。 其次，缓存机制里的cache和persist都是用于将一个RDD进行缓存，区别就是：cache()是persisit()的一种简化方式，cache()的底层就是调用的persist()的无参版本，同时就是调用persist(MEMORY_ONLY)将数据持久化到内存中。如果需要从内存中清除缓存，那么可以使用unpersist()方法。 ...
spark batch checkpoint jar
12-20
spark batch checkpoint jar
Spark的checkpoint源码讲解
04-09
Spark的checkpoint源码讲解
CHECKPOINT PHASE&CLOSURE STAGE
12-11
整理发布的CHECKPOINT PHASE&CLOSURE STAGE以实现多、快、好、省为目标，欢迎大家下载CHECKPO...该文档为CHECKPOINT PHASE&CLOSURE STAGE，是一份很不错的参考资料，具有较高参考价值，感兴趣的可以下载看看
tensorflow的ckpt及pb模型持久化方式及转化详解
09-17
今天小编就为大家分享一篇tensorflow的ckpt及pb模型持久化方式及转化详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Spark中CheckPoint、Cache、Persist的用法、区别
Alian_W的博客
02-07 1293
Spark中CheckPoint、Cache、Persist 大家好，我是一拳就能打爆A柱的猛男 这几天看到一套视频《尚硅谷2021迎新版大数据Spark从入门到精通》，其中有关于检查点（CheckPoint）的内容，所以就给大家以文字的形式复盘一下。接下来的顺序是：Spark关于持久化的描述、Cache用法、Persist用法、CheckPoint用法。中间会讲解三者之间的关系。 1、Spark关于持久化的描述 在Spark官网，我可以找到关于RDD持久化的全部内容就是如下的内容： RDD Persis
Spark中cache、persist、checkpoint三者的比较
AnameJL的博客
04-23 2497
  在Spark的数据处理过程中我们可以通过cache、persist、checkpoint这三个算子将中间的结果数据进行保存，这里主要就是介绍这三个算子的使用方式和使用场景 1. 三者的使用 1.1 cache的讲解与使用   cache算子可以将spark任务的中间结果数据缓存到内存当中，用以优化数据处理的时效性，这里结合代码进行讲解。   首先这里准备好数据文件 # 通过命令我们可以看到数据文件有4592639 行 [root@lx01 bin]# wc -l /root/log-t.txt 4592
cache,persist,checkpoint 区别
weixin_30716725的博客
07-21 228
控制算子有三种，cache,persist,checkpoint，以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系 cache 默认将RDD的数据持久化到内存中。cache是懒执行 ...
Spark部分：checkpoint和persist，cache的区别：
wyqwilliam的博客
08-12 1145
checkpoint：是写入到文档中，默认情况下不会程序执行完毕之后不会清空，cache和persist在程序执行完毕之后会清空。
spark中的cache() persist() checkpoint()之间的区别
Rocky
12-27 1万+
cache()与persist()： 会被重复使用的(但是)不能太大的RDD需要cache。cache 只使用 memory，写磁盘的话那就叫 checkpoint 了。 哪些 RDD 需要 checkpoint？运算时间很长或运算量太大才能得到的 RDD，computing chain 过长或依赖其他 RDD 很多的 RDD。 实际上，将 ShuffleMapTask 的输出结果存放到本地磁盘
Spark中的cache() persist() checkpoint()之间的区别
ImBetter的博客
04-20 2809
cache与persist的区别/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): this.type = persist() /** * Set this RDD's storage level to persist its values across operations...
每次进步一点点——spark中cache和persist的区别
热门推荐
housir的专栏
09-09 4万+
昨天面试被问到了cache和persist区别，当时只记得是其中一个调用了另一个，但没有回答出二者的不同，所以回来后重新看了源码，算是弄清楚它们的区别了。cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。
Spark RDD缓存中cache，persist 和checkPoint的区别
weixin_44563670的博客
01-22 424
Spark RDD缓存中cache，persist 和checkPoint的区别 文章目录一、cache，persist和checkPoint是什么？二、不同点1.cache,persist2.checkPoint总结 一、cache，persist和checkPoint是什么？ cache,persist和checkPoint都是Spark任务执行过程中，缓存RDD产生的数据，避免分区执行发生错误，全部RDD再按照血缘关系再重复执行所有RDD逻辑，而直接从缓存中获取某一段RDD逻辑执行产生的数据 二
Spark面试题（一）
rakuphone的博客
03-16 418
1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆） 1）本地模式   Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类   local：只启动一个executor   local[k]:启动k个executor   local[*]：启动跟cpu数目相同的 executor 2）standalone模式   分布式部署集群，自带完整的服务，资源管理和任务监控是Spark自己监控，这个模
spark中cache persis checkpoint的区别
04-26
在Spark中，cache、persist和checkpoint这三个操作都可以用来提高RDD的计算性能，但它们的作用并不完全相同。 cache操作是把RDD数据缓存在内存中，以便重复使用，可以提高计算速度。 persist操作跟cache操作类似，也是把数据缓存在内存中，但persist还可以指定存储级别，包括MEMORY_ONLY、MEMORY_AND_DISK、DISK_ONLY等，以满足不同场景的需求。 而checkpoint操作则是把RDD的数据写到磁盘上，以便在程序出错的情况下可以恢复数据。当RDD进行checkpoint操作时，需要慎重考虑数据写入磁盘的成本，以及与后续操作可能产生的冲突。 总的来说，cache和persist操作适合用于需要多次使用的数据集的缓存，而checkpoint操作适合于较大的数据集的备份和容错需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值