谁能讲清楚Spark之checkpoint与数据缓存的区别

最新推荐文章于 2024-07-19 16:04:56 发布
最新推荐文章于 2024-07-19 16:04:56 发布
阅读量110 收藏
点赞数
分类专栏： Spark 文章标签： spark 缓存 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36418242/article/details/132302349
版权

数据缓存和checkpoint的用法、存储与读取过程确实很相似，但也有不少区别，下面总结说明一下。

（ 1 ）目的不同。数据缓存的目的是加速计算，即加速后续运行的job。而 checkpoint 的目的是在 job 运行失败后能够快速恢复，也就是说加速当前需要重新运行的job 。
（ 2 ）存储性质和位置不同。数据缓存是为了读写速度快，因此主要使用内存，偶尔使用磁盘作为存储空间。而checkpoint 是为了能够可靠读写，因此主要使用分布式文件系统作为存储空间。
（ 3
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据咩
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
spark的持久化和checkpoint的区别
Lxjyh99的博客
12-14 872
RDD 可以使用 persist() 方法或 cache() 方法进行持久化 cache 底层调用的是 persist 方法，存储等级为: memory only，persist 的默认存储级别也是 memory only，persist 与 cache 的主要区别是 persist 可以自定义存储级别。哪些 RDD 需要 cache ？ 会被重复使用的(但是)不能太大的RDD需要cache，ca...
spark（三）缓存与checkpoint
heroking
04-05 1149
一、应用场景 缓存：将rdd所需的数据缓存到Executor的内存中，主要用于空间换时间，如某个spark任务期望执行时间在xx以内，目前达不到，此时在内存充足的情况下可以查看是否有重复利用的rdd数据，可以对该数据进行cache checkpoint：主要用于任务容错，比如机器学习进行迭代式计算，需要计算10小时才能出结果，如果在第9个小时任务出错，重新提交需要重新跑所有数据。可以在某些节点对...
Spark中的缓存(cache)和检查点(checkpoint)的使用和区别
LFQ244117370的博客
08-12 919
cache() 底层调用的局势persist(),只能设置缓存级别为StorageLevel.MEMORY_ONLY即在内存中进行缓存 persist() 这个才是真的缓存方法 --无参重载 => 只能设置缓存级别为StorageLevel.MEMORY_ONLY即在内存中进行缓存 --有参重载 => 可以设置缓存等级 是否是⽤磁盘 是否使⽤内存 是否使⽤堆外内存 是否反序列化 副本的个数 object StorageLevel { val NONE = new StorageLevel(f.
spark的cache/persist与checkpoint区别简单小结
百物易用是苏生
01-19 426
参考文章:https://blog.csdn.net/ljp812184246/article/details/53897613 提炼结论: 1. cache就是persist,计算的时候快照一份到内存中,计算不下可以设置溢写到磁盘;默认只缓存到内存(若果内存不够,放不下会根据血缘系统计算缺失的部分),当driver(sparkContext)结束就没了(包括磁盘上 的数据);用于同一个submit提交任务中经常使用的中间rdd 2. checkpoint就是相当于copy计算一份rdd到磁盘上.
spark面试题：简述下Spark中的缓存(cache和persist)与checkpoint机制，并指出两者的区别和联系
epitomizelu的专栏
07-15 1172
简述下Spark中的缓存(cache和persist)与checkpoint机制，并指出两者的区别和联系 缓存： 对于作业中的某些RDD，如果其计算代价大，之后会被多次用到，则可以考虑将其缓存，再次用到时直接使用缓存，无需重新计算。 是一种运行时性能优化方案。 checkpoint： checkpoint是将某些关键RDD的计算结果持久化到文件系统，当task错误恢复时，调度系统会从checkpoint过的RDD开始计算，而不会从头计算。 二者区别和联系： 缓存是临时性的，如果发生错误，重新恢复后缓存失
Spark 中容错( checkpoint )和持久化( cache )的异同：
Han_Lin-的博客
02-17 419
checkpornt 是一个job来完成的，是执行完一个job之后，新建一个新的 job 来完成的，并不像  cache  ，是 job 执行过程中进行。 checkpornt 是将数据的血统(DAG)截断，只保存了想要保存的 RDD 在HDFS 中，而 cache 的是计算血统的数据在内存中。 缓存的清除方式也不一样，checkpornt 到HDFS中的RDD需要手动清除，如果不手动清除，会...
spark中checkpoint
MrLeebk
03-04 388
查了大部分资料，关于spark中的checkpoint有一些自己的想法。spark中的checkpoint操作设置检查节点，相对持久化操作presist而言，是切断RDD依赖的操作，但同时它将RDD操作的过程，以文件的形式存储在分布式系统中（一般是HDFS），其实我们把这完全理解为恢复RDD日志。当任务失败，spark自己可以根据checkpoint的日志信息，很快恢复数据。。...
Spark checkPoint Demo
01-07
import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.ReceiverInputDStream object ...
【SparkCore篇05】RDD缓存和checkpoint1
08-04
Spark是大数据处理领域的一款高效、灵活且易用的开源框架，其核心组件是弹性分布式数据...在实际开发中，根据数据规模、计算任务特性和系统资源，灵活选择合适的缓存策略和checkpoint间隔，是优化Spark作业性能的关键。
spark batch checkpoint jar
12-20
Spark Batch Checkpointing详解 在大数据处理领域，...综上所述，Spark Batch Checkpointing是提升Spark批处理作业稳定性和效率的重要手段，理解其原理并合理配置，能帮助开发者更好地应对大规模数据处理中的挑战。
Spark的checkpoint源码讲解
04-09
Spark 的Checkpoint 源码讲解 Checkpoint 是 Spark 中的一种机制，用于快速恢复应用程序在出现故障时的状态。它可以帮助 Spark 应用从故障中恢复，避免了重新计算的麻烦。Checkpoint 相关源码可以分为四个部分：...
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
在大数据流处理领域，Apache Flink 是一个关键的开源框架，它提供了强大的实时计算能力。在 Flink 中，为了应对程序错误或人为取消...通过本文的介绍，希望能帮助你更好地理解和应用 Flink 的 Checkpoint 与恢复机制。
spark中的cache()、persist()和checkpoint()的区别
qq_56870570的博客
03-03 6089
首先，这三者都是做RDD持久化的，cache()和persist()是将数据缓存在内存中，checkpoint()是将数据做物理存储的（本地磁盘或Hdfs上）。 其次，缓存机制里的cache和persist都是用于将一个RDD进行缓存，区别就是：cache()是persisit()的一种简化方式，cache()的底层就是调用的persist()的无参版本，同时就是调用persist(MEMORY_ONLY)将数据持久化到内存中。如果需要从内存中清除缓存，那么可以使用unpersist()方法。 ...
Spark中的cache和checkpoint
qq_38052208的博客
11-07 453
RDD中的缓存cache：Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存数据集。当持久化某个RDD后，每一个节点都将把计算的分片结果保存在内存中，并在对此RDD或衍生出的RDD进行的其它动作中重用。这使得后续的动作变得更加迅速。RD D相关的持久化和缓存，是Spark最重要的特征之一。可以说，缓存是Spark构建迭代式算法和快速交互式查询的关键。如果希望节点故障的情况不会...
spark的cache和checkpoint的区别
wyn1175397098zt的博客
04-15 1673
要知道区别，就要首先知道实现的原理和使用的场景    cache就是讲共用的或者重复使用的RDD按照持久化的级别进行缓存。    checkpoint 就是将业务非常长的逻辑计算的中间结果缓存到HDFS上，他的实现原理是：                首先找打stage最后的finalRDD，然后按照RDD的依赖关系回溯，找到使用checkpoint的RDD。                然后...
Spark_Spark 中 checkpoint 的正确使用方式 以及 与 cache区别
迎难而上
06-14 4894
1.Spark性能调优：checkPoint的使用 https://blog.csdn.net/leen0304/article/details/78718346 概述 checkpoint的意思就是建立检查点，类似于快照，例如在spark计算里面，计算流程DAG特别长，服务器需要将整个DAG计算完成得出结果，但是如果在这很长的计算流程中突然中间算出的数据丢失了，spark又会根据RDD的依赖关系从头到尾计算一遍，这样子就很费性能，当然我们可以将中间的计算结果通过cache或者persi...
《Spark 6》--Spark的缓存机制（cache 和 persist）、检查点（checkpoint）机制、以及二者的联系与区别
yk_3215123的博客
08-06 1196
缓存 ：cache / persist 1.spark的缓存级别参照【org.apache.spark.storage.StorageLevel.scala】 在persist()中可以指定一个StorageLevel,当StorageLevel为MEMORY_ONLY时就是cache. ...
Spark检查点checkpoint和缓存
勇心在馨
01-05 778
一、缓存 RDD通过persist方法或cache方法可以将计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空 间中。 但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 /** * Persist this RDD with the default storage level (...
spark shell
最新发布
m0_74934794的博客
07-19 195
2.1.1读取linux文件系统的文件创建RDD。2.1.2读取hdfs文件系统上的文件创建RDD。--需要保证每一个worker中都有该文件。--过滤数据,保留每行中含有hello的数据。2.2使用Parallelize创建RDD。2.3从其他的RDD中创建新的RDD。--对RDD中的数据进行过滤操作。--统计RDD中的数据记录表。2.1 读取文件创建RDD。--读取RDD的第一条数据。4.实现wordcount。1.进行shell命令行。3.对RDD进行操作。--读取中的N条数据。
Spark Streaming：实时大数据处理与Kafka集成应用
与传统的Spark程序不同，Spark Streaming 不是一次性处理所有历史数据，而是将不断输入的数据流分解成一系列小的批次（Batches），每个批次被独立地作为一个Spark应用程序实例进行处理。这种设计允许实时数据处理，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值