Spark之 RDD的缓存 和 检查点的区别

最新推荐文章于 2024-08-12 16:39:50 发布
最新推荐文章于 2024-08-12 16:39:50 发布
阅读量129 收藏
点赞数
分类专栏： 大数据 文章标签： spark 缓存 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sijiwang95/article/details/129078249
版权
文章介绍了在Spark中，缓存和检查点用于优化大数据处理的策略。缓存可将数据存储在内存、磁盘或堆外内存，是临时性的，依赖血缘关系恢复。而检查点则将数据持久化至磁盘，永久保存，能截断依赖链，确保数据可靠性。
摘要由CSDN通过智能技术生成

适用场景:

                当一个RDD被多方重复使用的时候, 或者一个RDD计算非常的复杂的时候, 我们可以设置缓存或者检查点, 将RDD的结 果保存下来, 下次就可以直接使用了, 不需要在重新计算

区别:

        存储位置:

                缓存是将数据可以存储在内存, 磁盘或者堆外内存中国, 而检查点是将数据存储在磁盘/HDFS(主要)

        生命周期:

                缓存是临时存储, 当Spark应用结束后, 缓存也就会自动失效, 或者调用 unpersist也会清除缓存检查点一旦保存了, 就是永久的, 只要不手动删除, 检查点的数据会一直存在, 即使程序已经退出

        血缘关系:

                缓存是不会截断依赖关系, 因为缓存是一个临时存储, 当失效后, 可以通过血缘关系, 重新计算检查点会截断依赖关系, 因为检查点认为数据是可以进行可靠存储的, 比如存储到HDFS, 不会发送丢失,不需要重新计算

javaisGod_s
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系
大数据学习与分享的博客
11-24 486
    RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。     RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读： Resili...
Spark RDD缓存方式
我们始终是路人
01-20 2682
RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin") val conf = new Spar
Spark中的缓存(cache)和检查点(checkpoint)的使用和区别
LFQ244117370的博客
08-12 934
cache() 底层调用的局势persist(),只能设置缓存级别为StorageLevel.MEMORY_ONLY即在内存中进行缓存 persist() 这个才是真的缓存方法 --无参重载 => 只能设置缓存级别为StorageLevel.MEMORY_ONLY即在内存中进行缓存 --有参重载 => 可以设置缓存等级 是否是⽤磁盘 是否使⽤内存 是否使⽤堆外内存 是否反序列化 副本的个数 object StorageLevel { val NONE = new StorageLevel(f.
【Spark】RDD缓存机制
Just Do IT
04-12 674
把RDD的数据缓存起来，其他job可以从缓存中获取RDD数据而无需重复加工。注意：调用这两个方法后并不会立刻缓存，而是有action算子触发时才会缓存。persist有多种缓存方式，如缓存到内存，缓存到磁盘等。cache只缓存到内存，且实际是调用了persist方法。
Spark系列——缓存（cache/persist）与检查点（checkpoint）以及二者的对比
Cxf2018的博客
11-03 706
一、缓存 cache和persist是RDD的两个API，cache底层调用的就是persist，区别在于cache不能指定缓存方式，只能缓存在内存中，但是persist可以指定缓存方式，比如：缓存在内存中、内存和磁盘并序列化等。通过RDD的缓存，后续可以对此RDD或者基于此RDD衍生出的其他RDD处理重用这些缓存的数据集。 二、checkpoint 本质上是将RDD写入磁盘做检查点（通常是checkpint到HDFS上）。在生产环境中，往往在RDD上会执行各种操作，使得DAG图会拉的非常长，为防止中间某个
Spark Core快速入门系列(9) | RDD缓存和设置检查点
不温卜火
07-30 6614
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/   此篇为大家带来的是RDD缓存和设置检查点 目录一. RDD缓存.
spark五 缓存（持久化）和检查点
04-02 518
—— 可以在内存中持久化或缓存多个数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用，一方面提高效率，另一方面内存加快速度 缓存 cache persist 发现cache最终也是调用了persist方法 遇到的问题 memory_only 3个g,内存只有2g,缓存2g,用到它是找缓存,发现缓存不够,就重新计算 ch...
【SparkCore篇05】RDD缓存和checkpoint1
08-04
本篇文章主要探讨Spark中的RDD缓存和checkpoint机制。 首先，RDD缓存是Spark提升性能的关键特性。通过调用`persist()`或`cache()`方法，我们可以将一个RDD的计算结果存储在内存中，以便后续的操作可以快速访问，...
spark RDD 论文 中文版
11-14
- **检查点**：用户可以手动设置检查点来持久化中间结果，以便于更快地从故障中恢复。 #### 六、评估 ##### 6.1 迭代式机器学习应用 - **性能对比**：与传统的批处理系统相比，Spark通过内存缓存显著提高了迭代式...
spark原理示意图，执行计划，shuffle，架构，检查点，缓存，广播
05-05
Spark的容错机制主要依赖于RDD（弹性分布式数据集）的血统（lineage）和检查点（checkpoint）。当Executor故障时，可以通过重新计算丢失的RDD来恢复状态。检查点则是定期将RDD持久化到可靠的存储系统（如HDFS），以...
【SparkCore篇01】RDD编程入门1
08-04
总的来说，Spark的RDD编程模型提供了一种灵活、高效的并行计算框架，通过血缘关系、缓存和检查点实现容错和性能优化。开发者通过定义transformations构建RDD的计算流程，并通过actions触发实际的计算。这种延迟计算...
RDD&SparkCore笔记.docx
07-26
- **持久化**：通过缓存或检查点，可以提高重复计算的效率，减少不必要的数据重建。 4. **RDD的操作** - **转换算子**：如map、filter、join等，创建新RDD而不立即计算，建立血缘关系。 - **行动算子**：如count...
Spark RDD缓存操作的小坑
sunspeedzy的博客
09-11 709
今天发现了RDD缓存时的一个小坑，百度没有多少关于这个坑的介绍，也许是太简单了。不过我还是写下来，免得自己以后再被陷进去。 在Spark-shell中运行这样的代码 val rdd=sc.textFile("/zhangyan/result20190822.txt") .map(x=>{(x.substring(0,25), x)}).cache rdd.take(20) 然后，删除...
Spark RDD的缓存 rdd.cache() 和 rdd.persist()
热门推荐
sunspeedzy的博客
04-04 1万+
RDD的缓存级别顺便看一下RDD都有哪些缓存级别，查看 StorageLevel 类的源码：object StorageLevel { val NONE = new StorageLevel(false, false, false, false) val DISK_ONLY = new StorageLevel(true, false, false, false) val DISK_ON
spark的cache和checkpoint的区别
wyn1175397098zt的博客
04-15 1681
要知道区别，就要首先知道实现的原理和使用的场景    cache就是讲共用的或者重复使用的RDD按照持久化的级别进行缓存。    checkpoint 就是将业务非常长的逻辑计算的中间结果缓存到HDFS上，他的实现原理是：                首先找打stage最后的finalRDD，然后按照RDD的依赖关系回溯，找到使用checkpoint的RDD。                然后...
（7）RDD缓存 & 检查点
qq_41123269的博客
02-27 912
RDD缓存 为啥需要缓存 将计算结果缓存到内存或磁盘中，供后面重用。 因为RDD中不存储数据，如果一个RDD需要重复使用，那么需要从头再次执行来获取数据，所以为了解决这个问题，RDD提供了缓存的方法 在数据执行较长，或数据比较重要的场合也可以采用持久化操作。 如果数据后续出现问题，就不用从头再执行一遍了，提高了数据的安全性 怎么缓存？ persist方法 & cache方法 使用persist方法或cache方法 （ 但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)
qq_65231448的博客
08-12 798
在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。可以通过游览器输入node1:4040查看监控页面（多个进程不会起冲突，具体监控页面的端口看上图spark版本下面第二行）找到spark上传的位置,cd 进到该目录，不进去也行，自己在前面加路径哈！完成后结果（退出终端，重新进来）
基于Spark AI的进行模型微调(DataWhale AI夏令营)
极限突破者的博客
08-11 456
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，本文参与活动是2024 DataWhale AI夏令营第四期大模型微调希望我的文章能帮助到你；😲在本文中，作者将详细讲解如何从零开始构建一个语文和英语高考选择题数据集，并且基于讯飞开发平台进行LLM微调训练一个模型，最后通过调用API进行测试。数据集准备：包括数据的读取、预处理、问题提取与答案提取。模型训练：如何利用现有的语言模型，进行定制化的模型训练。本地测试。
NoSQL之Redis集群（缓存加速）
最新发布
2401_85084312的博客
08-12 898
先加入到集群中，然后以新节点的IP登录到集群中，指定要作为哪个节点的从；slave广播（故障切换的认证请求），拉选票，让master投票；对于redis集群而言，任意一个节点的IP都可以作为登录的入口；此时会发现，创建键值对，哈希运算后生成槽放置到集群的节点上；且查看提示符，会发现，会切换到其他主机上；master（故障转移的认证应答），投票给slave；解决的数据备份，读写分离，无法实现自动化故障转移；此时要同步集群的会话，清空数据库，然后重置；要指定集群的任意一个节点的IP及端口；
Spark RDD精讲：从创建到持久化
默认情况下，每次动作操作都会重新计算RDD，但通过缓存（Caching）或检查点（Checkpointing），RDD可以被保存在内存或磁盘中，以便后续的操作重用，显著减少计算时间。这被称为"惰性计算"或"按需计算"模式，因为它仅...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值