RDD chache和checkoutPoint操作

最新推荐文章于 2024-03-25 08:55:59 发布
最新推荐文章于 2024-03-25 08:55:59 发布
阅读量509 收藏
点赞数
分类专栏： 【大数据】Spark-原理 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21989939/article/details/79465038
版权
本文介绍了Spark中RDD的缓存机制，包括通过persist和cache方法进行缓存，以及Spark的存储级别。RDD的缓存是Spark迭代算法和交互式查询的关键，通过缓存避免重复计算。接着详细阐述了RDD的checkpoint机制，作为一种更可靠的持久化策略，用于防止数据丢失，尤其是在复杂的计算链条中，确保数据安全性。checkpoint将RDD数据写入HDFS，减少因数据丢失导致的重算。
摘要由CSDN通过智能技术生成

1.  RDD的缓存

Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存，是Spark最重要的特征之一。可以说，缓存是Spark构建迭代式算法和快速交互式查询的关键。

1.2  RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。

通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别还有好多种，存储级别在object StorageLevel中定义的。

缓存有可能丢失，或者存储于内存的数据由于内存不足而被删除，RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正

最低0.47元/天 解锁文章
21989939
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RDD操作
zhang_zero的博客
12-13 2314
RDD的内部运行方式 RDD(Resilient Distributed Datasets) 是一个容错的，并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区 提供了一组丰富的操作来操作数据 本质是一个只读的分区记录集合，一个RDD可以包含多个分区，每个分区是一个DataSet片段 RDD之间可以相互依赖（窄依赖，宽依赖） RDD的分区 通过不同的分区，将数据实际映射到不同的Spark节点上 RDD的特点 只读不能修改：只能通过转换操作生成一个新的RDD 分布式存储：一
Flink 之容错配置 checkoutpoint
cbb
08-10 301
Flink 容错 1 .Fault tolerance and checkpointing 在 yaml 文件中配置 配置信息 ### flink 可以自动触发 state.checkpoints.dir: hdfs://fl:9001/flink-checkpoints ### state.savepoints.dir: hdfs://fl:9001/flink-savepoints
Spark：checkpoint介绍
简单随风的博客
09-05 2978
checkpoint，是Spark提供的一个比较高级的功能。 有时候我们的Spark任务，比较复杂，从初始化RDD开始，到最后整个任务完成，有比较多的步骤，比如超过10个transformation算子。而且整个任务运行的时间也特别长，比如通常要运行1~2个小时。 在这种情况下，就比较适合使用checkpoint功能了。 因为对于特别复杂的Spark任务，有很高的风险会出现某个要反复使用的RDD因为节点的故障导致丢失，虽然之前持久化过，但是还是导致数据丢失了。那么也就是说，出现失败的时候，没有容错机制，所以
Spark09: Spark之checkpoint
anglemanyi的博客
02-12 1205
checkpoint，是Spark提供的一个比较高级的功能。有时候，我们的Spark任务，比较复杂，从初始化RDD开始，到最后整个任务完成，有比较多的步骤，比如超过10个transformation算子。而且，整个任务运行的时间也特别长，比如通常要运行1~2个小时。在这种情况下，就比较适合使用checkpoint功能了。因为对于特别复杂的Spark任务，有很高的风险会出现某个要反复使用的RDD因为节点的故障导致丢失，虽然之前持久化过，但是还是导致数据丢失了。
Spark中的checkpoint机制
杜海的博客
04-27 2603
一.Spark Core中的checkpoint def main(args: Array[String]) { val spark = SparkSession.builder().appName("Checkpoint Test").master("local[2]") .getOrCreate() val sc = spark.sparkContext sc.setCheckpointDir("checkpoint") val data = Array[(Int, Ch
Spark 检查点（checkpoint）
最新发布
03-25 4万+
Checkpointing可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)， 即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。开发人员可以是来方法来设置检查点。在使用检查点之前，必须使用方法设置检查点目录。所以其实我们的checkpoint主要用于Spark Streaming任务。
浅谈Spark RDD API中的Map和Reduce
09-30
RDD API提供了多种转换操作，而Map和Reduce是其中最为关键和常用的转换操作之一。 首先，要理解RDD是什么？RDD（Resilient Distributed Dataset）是一种弹性分布式数据集，它是分布式内存的一个抽象概念，代表一个...
spark RDD操作详解
09-25
### Spark RDD操作详解 #### 一、RDD概念与特性 **RDD（弹性分布式数据集）**是Apache Spark的核心抽象，代表一种不可变的、可...了解和掌握RDD的基本概念及其操作方式对于高效地使用Spark进行大数据处理至关重要。
Spark RDD简介与操作
weixin_62121679的博客
08-01 491
在Spark中，RDD可以看作是一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD。在Spark中，RDD可以看作是一个对象，它本身运行于内存中，可以用于读文件、对文件计算、结果集等操作。在Spark中，RDD是一个并行集合，它包含多个分片，每个分片可以在不同的计算节点上并行处理。然后，我们对RDD进行转换和计算操作，并输出结果。在Scala中，Spark的RDD API提供了许多转换操作（transformations），用于对RDD进行转换和计算。
spark 的checkpoint 详解
weixin_43548518的博客
05-12 1646
Spark core的checkpoint （1）为什么checkpoint？ 虽然RDD的血缘关系天然地可以实现容错，当RDD的某个分区数据失败或丢失，可以通过血缘关系重建。但是对于长时间迭代型应用来说，随着迭代的进行，RDDs之间的血缘关系会越来越长，一旦在后续迭代过程中出错，则需要通过非常长的血缘关系去重建，势必影响性能。 Spark中对于数据的保存除了持久化操作之外，还提供了一种检查点的机制，检查点（本质是通过将RDD写入Disk做检查点）是为了通过lineage做容错的辅助，lineage过长会造
如何理解Spark RDD CheckPoint检查点？与缓存区别？
zjjcchina的博客
11-14 120
建议对checkpoint()的RDD使用Cache缓存，这样checkpoint的job只需从Cache缓存中读取数据即可，否则需要再从头计算一次RDD；访问http://localhost:4040/jobs/页面，查看4个job的DAG图。第1个job执行完，数据就保存到Cache里面了，第2个job运行checkpoint，直接读取Cache里面的数据，并把数据存储在检查点上。第1个job执行完，触发了checkpoint，第2个job运行checkpoint，并把数据存储在检查点上。
一文看懂Spark中Cache和CheckPoint的区别
Knight
11-16 866
缓存是将数据保存在主机磁盘/内存中,如果服务器宕机数据丢失,需要重新根据依赖关系计算得到数据,需要花费大量时间,所以需要将数据保存在可靠的存储介质HDFS中,避免后续数据丢失重新计算。看下面代码会打印多少条-------------------------(RDD2) 使用了CheckPoint。看下面代码会打印多少条-------------------------(RDD2) 使用了Cache。看下面代码会打印多少条-------------------------(RDD2)1.数据保存位置不一样。
Spark的checkpoint详解
炼数成器
06-08 1346
源码解释 /** *Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint 将此RDD标记为检查点。它将保存到检查点内的文件中 *directory set with `SparkContext#setCheckpointDir` and all references to its ...
Spark Checkpoint 的使用、具体内容及读写过程
初心江湖路的博客
06-30 6044
引用：https://www.cnblogs.com/cenglinjinran/p/9542589.html
spark的checkpoint机制
Enzo的探索之路
12-07 7941
引入checkpoint机制原因 Spark 在生产环境下经常会面临 Transformation 的 RDD 非常多(例如一个Job 中包含1万个RDD) 或者是具体的 Transformation 产生的 RDD 本身计算特别复杂和耗时(例如计算时常超过1个小时) , 这个时候如果可以对计算的过程进行复用，就可以极大的提升效率，此时我们必需考虑对计算结果的持久化。 如果采用 persists ...
Spark中的checkpoint作用与用法
allen的博客
07-27 3万+
checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面 计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果通过cache或者persist放到内存或者磁盘中,但是这样也不能保证数据完全不会丢失,存储的这个内存出问题
spark源码阅读笔记RDD（五） RDD中的checkpoint原理
legotime的博客
05-01 2993
----------------------------目录---------------------------- 为何需要checkpoint？ checkPoint作用 源码分析 ------------------------------------------------------------ 为何需要checkpoint？ 大家知道checkpoi
RDD实现详解
MrGeroge的博客
12-05 678
1.RDD的三大特性 自动容错：（基于Lineage血统，即会保存创建RDD的相关转换（算子操作）） 位置感知性调度：为了尽量满足数据本地性，Task调度会依次从以下位置查找是否有计算所需的数据： 1）缓存，即待计算的数据RDD执行过cache（）操作 2）Checkpoint：即待计算的数据RDD是否执行过checkpoint（）操作，数据检查点保存 3）rdd.preferedLoc
Spark RDD API入门与实用操作
Spark RDD API是Apache Spark分布式计算框架的核心抽象，它是Resilient Distributed Dataset（RDD）的实现，为Spark平台提供了基础的数据操作手段。对于初学者来说，这份PDF文档是一个重要的学习资源，它涵盖了RDD的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值