Spark RDD缓存 persist，cache，CheckPoint

最新推荐文章于 2024-07-06 09:25:15 发布

高个子男孩

最新推荐文章于 2024-07-06 09:25:15 发布

阅读量265

点赞数

分类专栏： Spark 文章标签： spark 缓存 jvm

本文链接：https://blog.csdn.net/qq_41982570/article/details/129268491

版权

Spark 专栏收录该内容

28 篇文章 1 订阅

订阅专栏

文章介绍了Spark中的数据缓存机制，包括persist和cache方法，它们在触发action时将数据存储在内存中以供重用。存储级别可以设置，包括在内存中存储多份。RDD的缓存具有容错性，当数据丢失时可通过重新计算丢失部分恢复。此外，文章提到了检查点机制，用于减少长lineage的容错成本，通过将RDD写入HDFS实现，需执行Action操作后才会触发。

摘要由CSDN通过智能技术生成

persist和cache

通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist()会把数据以序列化的形式缓存在JVM的堆空间中。

但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。

通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别还有多种，存储级别在object StorageLevel中定义的。

在存储级别的末尾加上“_2”来把持久化数据存为两份

缓存有可能丢失，或者存储于内存的数据由于内存不足而被删除，RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换，丢失的数据会被重算，由于RDD的各个Partition是相对独立的，因此只需要计算丢失的部分即可，并不需要重算全部Partition。

CheckPoint

Spark中对于数据的保存除了持久化操作之外，还提供了一种检查点的机制，检查点（本质是通过将RDD写入Disk做检查点）是为了通过lineage做容错的辅助，lineage过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。检查点通过将数据写入到HDFS文件系统实现了RDD的检查点功能。

为当前RDD设置检查点。该函数将会创建一个二进制的文件，并存储到checkpoint目录中，该目录是用SparkContext.setCheckpointDir()设置的。在checkpoint的过程中，该RDD的所有依赖于父RDD中的信息将全部被移除。对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发。

sc.setCheckpointDir("hdfs://hadoop102:9000/checkpoint")
val rdd = sc.parallelize(Array("atguigu"))
val ch = rdd.map(_+System.currentTimeMillis)
ch.checkpoint
ch.collect