spark06-cache persist checkpoint 区别

已于 2023-02-15 23:08:18 修改
阅读量108 收藏
点赞数
分类专栏： spark 文章标签： 大数据 Powered by 金山文档
于 2023-02-15 23:01:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oracle8090/article/details/129052281
版权

cache 将数据临时存储在内存中进行数据重用

会在血缘关系中添加新的依赖，一旦出现问题，可以重头读取数据

persist:将数据临时存储在磁盘文件中进行数据重用

涉及到磁盘IO，性能较低，但是数据安全

如果作业执行完毕，临时保存的数据文件就会丢失

会在血缘关系中添加新的依赖，一旦出现问题，可以重头读取数据

checkpoint 将数据长久地保存在磁盘文件中进行数据重用

涉及到磁盘IO，性能较低，但是数据安全

为了保证数据安全，所以一般情况下，会独立执行作业（在原有的job上重新起动一个job）

为了能够提高效率，一般情况下，是需要跟cache联合使用的(这样就不独立执行了)

执行过程中，会切血缘关系，重新建立新的血缘关系

checkpoint等同于改变数据源

源码：

当dagScheduler.runJob执行之后，执行了rdd.doCheckpoint操作

在底层又再一次提交了job因此会执行两次job

小朋友,你是否有很多问号?
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
apollo-cache-persist：for所有Apollo Cache实现的简单持久性
02-04
apollo3-cache-persist 所有Apollo Client 3.0缓存实现（包括和简单持久性。 支持Web和React Native。 基本用法 首先，只需将Apollo缓存和传递给persistCache 。 默认情况下，您的Apollo缓存的内容将立即恢复...
dva-model-persist:类似redux-persist和dva-redux-persist和工具
05-09
dva-model-persist 软件架构 适用于 dva 项目 Why 之前基于redux-persist@5.*开发的dva-resist-persist，在异步加载model时并不会存贮model的state,所以使用redux的enhancer特性开发这个支持异步model加载的工具 ...
Spark中的cache() persist() checkpoint()之间的区别
ImBetter的博客
04-20 2818
cache与persist的区别/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */ def cache(): this.type = persist() /** * Set this RDD's storage level to persist its values across operations...
cach、persist、checkpoint的区别
小黑的博客
05-16 876
cache与persist的区别 cache 底层调用的是 persist 方法，存储等级为: memory only，persist 的默认存储级别也是 memory only，persist 与 cache 的主要区别是 persist 可以自定义存储级别。哪些 RDD 需要 cache ？ 会被重复使用的(但是)不能太大的RDD需要cache，cache 只使用 memory。 persis...
spark--cache persist checkpoint区别
qq_41634872的博客
05-02 149
cache与persist cache等于persist(MEMORY_ONLY),他们都需要action算子触发，数据在该进程结束后会被删除，不会切断血缘。 Memory_Only:只存于内存 Disk_Only:只存于磁盘 Memory_and_disk:内存不够，存于磁盘 Memory_only_ser:将数据以序列化的方式存于内存 checkpoint 他是在job执行后，从final...
Spark RDD cache persist checkpoint用法及区别
rgc_520_zyl的博客
08-11 344
用法 cache persist checkpoint 特点 cache persist checkpoint 区别 cache persist checkpoint
Spark入门-Cache、Persist and Checkpoint
汪巡的博客
09-11 110
Spark 在运算过程中提供了几个不同程度的持久化操作，通过将数据保存在内存中、磁盘中或者 HDFS 中来满足我们计算中的持久化需求。 持久化（Persist、Cache） 在实际开发中某些 RDD 的计算或转换可能会比较耗费时间，如果这些 RDD 后续还会频繁的被使用到，那么可以将这些 RDD 进行持久化/缓存，这样下次再使用到的时候就不用再重新计算了，提高了程序运行的效率。Spark 提供了 Persist 和 Cache 两个操作对 RDD 的运算结果进行持久化。 先看一个例子，我们要对一个文件内的单
Spark中Cache，persist和Checkpoint的区别
yanghao201607030101的博客
06-13 645
spark中rdd保存以提高效率或实现可靠的方式
Spark中cache、persist、checkpoint区别
weixin_43866709的博客
03-22 445
spark中的cache、persist、checkpoint都可以将RDD保存起来，进行持久化操作，供后面重用或者容错处理。但是三者有所不同。
spark源码（七）RDD cache、persist、checkpoint功能区别和源码解析
Interest1_wyt的博客
07-17 947
RDD cache、persist、checkpoint功能区别和源码解析
Spark中CheckPoint、Cache、Persist的用法、区别
Alian_W的博客
02-07 1457
Spark中CheckPoint、Cache、Persist 大家好，我是一拳就能打爆A柱的猛男 这几天看到一套视频《尚硅谷2021迎新版大数据Spark从入门到精通》，其中有关于检查点（CheckPoint）的内容，所以就给大家以文字的形式复盘一下。接下来的顺序是：Spark关于持久化的描述、Cache用法、Persist用法、CheckPoint用法。中间会讲解三者之间的关系。 1、Spark关于持久化的描述 在Spark官网，我可以找到关于RDD持久化的全部内容就是如下的内容： RDD Persis
mobx-persist：坚持mobx存储
02-05
$ npm install mobx-persist --save 用法 import { observable } from 'mobx' import { create , persist } from 'mobx-persist' class SomeItem { @ persist @ observable name = 'some' @ persist @ observable...
React通过redux-persist持久化数据存储的方法示例
10-17
主要介绍了React通过redux-persist持久化数据存储的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
redux-persist-sensitive-storage:redux-persist用于响应本机敏感信息的存储引擎
05-22
如果愿意，可以将该分支与redux-persist-sensitive-storage一起使用。 安装 您可以使用yarn或npm安装此软件包。 您还需要安装并链接 。 使用纱线： yarn add redux-persist-sensitive-storage react-native-...
阶段三：项目开发---大数据开发运行环境搭建:任务8：安装配置Redis
qq_60872637的博客
07-07 1213
安装配置Redis： 安装配置Redis：无Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI编写、支持网络、可基于内存亦可持久化的日志型、Key-Value，并提供多种语言的API。任务主要内容是Redis的下载安装，启动测试以及出现问题的相应解决方法。
Memcached在大数据量下的挑战：性能瓶颈与优化策略
2401_85761762的博客
07-06 669
Memcached是一个基于内存的分布式缓存系统，它通过减少对数据库的访问次数来提高应用程序的性能。它支持简单的数据存储和检索操作，并且是许多高流量网站的核心技术。
分布式系统—ELK日志分析系统概述及部署
最新发布
aran2002的博客
07-08 1503
ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称，但是filebeat可以用来替代logstash的数据收集功能，比较轻量级。市面上也被称为Elastic Stack。2.ELK组件ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
【分布式系统】ELK 企业级日志分析系统
F12138X的博客
07-06 1060
纵使黑夜吞噬了一切，太阳还是可以重新回来
spark中cache persis checkpoint的区别
04-26
在Spark中，cache、persist和checkpoint这三个操作都可以用来提高RDD的计算性能，但它们的作用并不完全相同。 cache操作是把RDD数据缓存在内存中，以便重复使用，可以提高计算速度。 persist操作跟cache操作类似，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值