Spark:cache和persist和checkpoint

最新推荐文章于 2022-04-23 20:41:24 发布
最新推荐文章于 2022-04-23 20:41:24 发布
阅读量167 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48109576/article/details/108000272
版权

只缓存到内存

cache底层调用的是persist方法，可以指定其他存储级别

cache和persist方法，严格来说，不是Transformation，应为没有生成新的RDD，只是标记当前rdd要cache或persist

cache、persist的使用场景：一个application多次触发Action，为了复用前面RDD计算好的数据，避免反复读取HDFS（数据源）中的数据和重复计算缓存，可以将数据缓存到内存或磁盘【executor所在的磁盘】，第一次触发action才放入到内存或磁盘，以后再出发action会读取缓存的RDD的数据再进行操作并且复用缓存的数据

支持多种StorageLevel，可以将数据序列化,默认放入内存使用的是java对象存储，但是占用空间大，优点速度快，也可以使用其他的序列化方式

触发action后第一个job计算结果,第二个存入内存

 

checkpoint

Checkpoint使用场景：适合复杂的计算【机器学习、迭代计算】，为了避免丢失数据儿重复计算，可以将宝贵的中间结果保存到hdfs中，中间结果安全

它可以将数据缓存到本地磁盘,相对于cache更加安全也可以存入Hdfs中,分布式文件管理系统,理论上不会丢失

触发action后从Hdfs中读取,如果文件被删除,即使删除一个分区,再次读取就会报错

如果RDD做了checkpoint，这个RDD以前的依赖关系就不在使用了

checkpoint触发action有二个job.第一个job计算结果一个是放hdfs

触发多次Action，checkpoint才有意义，多用于迭代计算

checkpoint严格的说，不是Transformation，只是标记当前RDD要做checkpoint

------------------------------------------------------------

如果checkpoint前，对rdd进行了cache，可以避免数据重复计算，如果有cache的数据有限使用cache，没有再使用checkpoint,如果没有checkpoint就从rdd依次往上读

 

茂密头发的源猴
关注
Spark中cache、persist、checkPoints函数区别详解
CSDN 精品推荐
08-19 253
请注意，选择何种方式来处理RDD，取决于具体的应用场景和资源状况。例如，在需要高容错性和数据在跨job中共享的场景下，可能会倾向于使用。而在追求计算性能和资源优化的场景下，可能会使用。
Spark Cache 和 Checkpoint 区别
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
02-22 510
cache checkpoint rdd.persist(StorageLevel.DISK_ONLY) 使用场景 会被重复使用的（但不能太大） 运算时间很长或运算量太大才能得到的 RDD，computing chain 过长或依赖其他 RDD 很多的 RDD 存储位置 内存 磁盘或HDFS 磁盘或HDFS 是否保存血缘关系 保存血缘关系（内存不可靠，cache丢失时可以重新计算） 不保存血缘关系（HDFS可靠保存） ...
cache、persist和checkpoint
day_ue的博客
10-11 161
cache、persist、checkpoint、spark
[Spark] persist和checkpoint
藏知阁
08-30 314
了解Spark的缓存机制对提高作业的计算速度和可靠性具有非常大的帮助。 persist和cache persist和cache都是可以将数据（RDD）缓存到内存或持久化到磁盘的方法。虽然这两个方法都是惰性计算，但严格来说，persist和cache既不是转换算子，也不是行动算子，只是标记了当前RDD要进行缓存。 cache是persist的特殊用法，即参数为MEMORY_ONLY。 persist(storageLevel=StorageLevel(False, True, False, False, 1)
[Spark]-Streaming-Persist与CheckPoint
weixin_30929195的博客
07-15 197
1.Persist 　　与RDD类似,DStream允许用户将流数据存至内存或磁盘(依据用户设置的持久化级别). 　　注意: 　　　　在DStream中,默认是存储到内存中.(RDD默认MEMORY_ONLY) 　　　　对于基于窗口的操作, 如reduceByWindow和reduceByKeyAndWindow以及基于状态的操作, 如updateStateByKey,内置是自动...
cache,persist,checkpoint 区别
weixin_30716725的博客
07-21 241
控制算子有三种，cache,persist,checkpoint，以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系 cache 默认将RDD的数据持久化到内存中。cache是懒执行 ...
Spark中的cache() persist() checkpoint()之间的区别
ImBetter的博客
04-20 2840
cache与persist的区别/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): this.type = persist() /** * Set this RDD's storage level to persist its values across operations...
SparkRDD缓存机制（cache,persist）检查点机制（容错机制）：Checkpoint 
徐磊的博客
02-04 1101
目录 RDD缓存（缓存算子都是延迟算子，都需要执行算子激活） 一、persist 二、cache 三、persist和cache的缺点： 注意事项： 四、persist和cache的 不同点： 相同点： 五、Checkpoint 5.1、使用Checkpoint的必要性 5.2、Persist和Checkpoint使用场景 5.3、Checkpoint使用方法 ...
谈一谈RDD 持久化的三个算子：cache、persist、checkpoint
乔治大哥的博客
11-21 816
这段伪代码的瑕疵： lines = sc.textFile(“hdfs://...”) errors = lines.filter(_.startsWith(“ERROR”)) mysql_errors = errors.filter(_.contain(“MySQL”)).count http_errors = errors.filter(_.contain(“Http”)).count ...
Spark之cache ,persist ,checkpoint ,广播变量及其案例 : 根据IP地址(浏览器访问日志获取) / 经度纬度定位地理位置案例(7)
桂林算啦粉的博客
10-01 1765
一 cache 二 persist 三 checkpoint 四 案例分析 根据IP地址查找到位置信息(省市)
Spark的Persist和checkpoint
勇心在馨
06-22 787
一、Spark有多种持久化方式 1、memory_only（仅在内存中） spark会将RDD作为未序列化的java对象存于内存，如果spark估算不是所有的分区能在内存中容纳，那么Spark不会将RDD缓存，以后用到该RDD,会根据血统重新计算 userRDD.cache() userRDD.persist() userRDD.persist(StorageLevel.MEMORY_ONLY) 劣势：占用大量内存，如果缓存过多对象，将对垃圾回收产生压力 2、memory_only_ser（仅在
Spark入门-Cache、Persist and Checkpoint
汪巡的博客
09-11 125
Spark 在运算过程中提供了几个不同程度的持久化操作，通过将数据保存在内存中、磁盘中或者 HDFS 中来满足我们计算中的持久化需求。 持久化（Persist、Cache） 在实际开发中某些 RDD 的计算或转换可能会比较耗费时间，如果这些 RDD 后续还会频繁的被使用到，那么可以将这些 RDD 进行持久化/缓存，这样下次再使用到的时候就不用再重新计算了，提高了程序运行的效率。Spark 提供了 Persist 和 Cache 两个操作对 RDD 的运算结果进行持久化。 先看一个例子，我们要对一个文件内的单
spark--cache persist checkpoint区别
qq_41634872的博客
05-02 156
cache与persist cache等于persist(MEMORY_ONLY),他们都需要action算子触发，数据在该进程结束后会被删除，不会切断血缘。 Memory_Only:只存于内存 Disk_Only:只存于磁盘 Memory_and_disk:内存不够，存于磁盘 Memory_only_ser:将数据以序列化的方式存于内存 checkpoint 他是在job执行后，从final...
spark（三）缓存与checkpoint
heroking
04-05 1174
一、应用场景 缓存：将rdd所需的数据缓存到Executor的内存中，主要用于空间换时间，如某个spark任务期望执行时间在xx以内，目前达不到，此时在内存充足的情况下可以查看是否有重复利用的rdd数据，可以对该数据进行cache checkpoint：主要用于任务容错，比如机器学习进行迭代式计算，需要计算10小时才能出结果，如果在第9个小时任务出错，重新提交需要重新跑所有数据。可以在某些节点对...
Spark中CheckPoint、Cache、Persist的用法、区别
Alian_W的博客
02-07 1637
Spark中CheckPoint、Cache、Persist 大家好，我是一拳就能打爆A柱的猛男 这几天看到一套视频《尚硅谷2021迎新版大数据Spark从入门到精通》，其中有关于检查点（CheckPoint）的内容，所以就给大家以文字的形式复盘一下。接下来的顺序是：Spark关于持久化的描述、Cache用法、Persist用法、CheckPoint用法。中间会讲解三者之间的关系。 1、Spark关于持久化的描述 在Spark官网，我可以找到关于RDD持久化的全部内容就是如下的内容： RDD Persis
spark中cache()、persist()、checkpoint()解析
微信公众号：一颗向上的草莓
05-03 477
Spark对RDD的持久化操作(cache()、persist()、checkpoint())是很重要的，可以将rdd存放在不同的存储介质中，方便后续的操作能重复使用。 cache() persist() cache和persist都是用于将一个RDD进行缓存，这样在之后使用的过程中就不需要重新计算，可以大大节省程序运行时间。 cache和persist的区别：cache只有一个默认的缓存级...
Spark中cache、persist、checkpoint三者的比较
AnameJL的博客
04-23 2580
  在Spark的数据处理过程中我们可以通过cache、persist、checkpoint这三个算子将中间的结果数据进行保存，这里主要就是介绍这三个算子的使用方式和使用场景 1. 三者的使用 1.1 cache的讲解与使用   cache算子可以将spark任务的中间结果数据缓存到内存当中，用以优化数据处理的时效性，这里结合代码进行讲解。   首先这里准备好数据文件 # 通过命令我们可以看到数据文件有4592639 行 [root@lx01 bin]# wc -l /root/log-t.txt 4592
Spark 调优 ——cache（persist）与 checkpoint
01-13 1112
cache 是对 persist 的进一步调用； 1. 为什么要 checkpoint 为了保证数据安全性，需要对运行出的中间结果进行 checkpoint 最好将结果 checkpoint 到 hdfs，便于集群所有节点进行访问； checkpoint 之前先进行 cache（persist），将数据放在缓存中 什么时候 checkpoint： 在发生 shuffle 之后做 ch...
Spark RDD cache persist checkpoint用法及区别
rgc_520_zyl的博客
08-11 394
用法 cache persist checkpoint 特点 cache persist checkpoint 区别 cache persist checkpoint
spark中cache persis checkpoint的区别
最新发布
04-26
在Spark中，cache、persist和checkpoint这三个操作都可以用来提高RDD的计算性能，但它们的作用并不完全相同。 cache操作是把RDD数据缓存在内存中，以便重复使用，可以提高计算速度。 persist操作跟cache操作类似，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值