spark—RDD持久化

王博1999

已于 2022-09-28 14:07:03 修改

阅读量430

点赞数

分类专栏：大数据文章标签： spark 缓存大数据

于 2022-09-28 14:06:28 首次发布

本文链接：https://blog.csdn.net/weixin_44604159/article/details/126971900

版权

大数据专栏收录该内容

39 篇文章 1 订阅

订阅专栏

学习目录

一、Cache和Persist缓存
二、CheckPoint 检查点
三、缓存和检查点的区别☆☆☆（面试）

一、Cache和Persist缓存

基本介绍

格式：
RDD.Cache()
RDD.Persist(参数)

RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 行动算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。

Cache和Persist的区别

Cache：默认持久化操作，只能将数据保存到内存中
Persist：既可以将数据保存到内存中，也可以将数据保存到磁盘中。如果需要保存到磁盘中，则给定参数，更改存储级别

存储级别如下：

object StorageLevel {
 val NONE = new StorageLevel(false, false, false, false)
 val DISK_ONLY = new StorageLevel(true, false, false, false)
 val DISK_ONLY_2 = new StorageLevel(true, false, false, false, 2)
 val MEMORY_ONLY = new StorageLevel(false, true, false, true)
 val MEMORY_ONLY_2 = new StorageLevel(false, true, false, true, 2)
 val MEMORY_ONLY_SER = new StorageLevel(false, true, false, false)
 val MEMORY_ONLY_SER_2 = new StorageLevel(false, true, false, false, 2)
 val MEMORY_AND_DISK = new StorageLevel(true, true, false, true)
 val MEMORY_AND_DISK_2 = new StorageLevel(true, true, false, true, 2)
 val MEMORY_AND_DISK_SER = new StorageLevel(true, true, false, false)
 val MEMORY_AND_DISK_SER_2 = new StorageLevel(true, true, false, false, 2)
 val OFF_HEAP = new StorageLevel(true, true, true, false, 1)

常用如下

在这里插入图片描述
补充说明：

缓存有可能丢失，或者存储于内存的数据由于内存不足而被删除，RDD 的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于 RDD 的一系列转换，丢失的数据会被重算，由于 RDD 的各个 Partition 是相对独的，因此只需要计算丢失的部分即可，并不需要重算全部 Partition。

Spark 会自动对一些 Shuffle 操作的中间数据做持久化操作(比如：reduceByKey)。这样做的目的是为了当一个节点 Shuffle 失败了避免重新计算整个输入。但是，在实际使用的时候，如果想重用数据，仍然建议调用 persist 或 cache。

二、CheckPoint 检查点

基本介绍

格式：
RDD.checkpoint(路径)

checkpoint方法也是对数据进行缓存，而不同的是checkpoint需要落盘，需要指定检查点保存路径，保存的数据文件当作业执行完毕后，不会被删除。而Persist则是将数据溢写到磁盘上，只是临时文件，当作业执行完毕后文件会被删除。

同样checkpoint 操作并不会马上被执行，必须执行 Action （行动）算子才能触发

三、缓存和检查点的区别☆☆☆（面试）

（1）cache：将数据临时存储在内存中进行数据重用，会在血缘关系中添加新的依赖，一旦出现问题，可以重头读取数据

（2）persist：将数据临时存储在磁盘文件中进行数据重用，其中涉及到磁盘IO，性能较低，但是数据安全；如果作业执行完毕，临时保存的数据文件就会丢失

（3）checkpoint：将数据永久保存到硬盘文件中进行数据重用，其中涉及到磁盘IO，性能较低，但是数据安全；为了保证数据安全一般情况，会独立执行作业（相当于执行了两次作业）。但是为了提高效率，一般情况下是需要和 cache 联合使用（对 checkpoint()的 RDD 使用 Cache 缓存，这样 checkpoint 的 job 只需从 Cache 缓存中读取数据即可，否则需要再从头计算一次 RDD。）执行的过程中，会切断血缘关系，重写建立新的血缘关系，checkpoint等同于改变数据源