简述Spark中的缓存(cache和persist)与checkpoint机制，并指出两者的区别和联系

最新推荐文章于 2022-06-22 16:17:16 发布

星空下的那个人影

最新推荐文章于 2022-06-22 16:17:16 发布

阅读量1.1k

点赞数

分类专栏： spark 大数据面试文章标签： spark

本文链接：https://blog.csdn.net/sb_jb/article/details/124614343

版权

大数据面试同时被 2 个专栏收录

87 篇文章 20 订阅

订阅专栏

spark

23 篇文章 2 订阅

订阅专栏

本文深入探讨了Spark中的数据持久化、缓存与检查点的区别。Persist和Cache将数据保存在内存或磁盘，生命周期短暂，程序结束或unpersist后清除。而CheckPoint的数据则永久存储在HDFS，用于打破RDD的依赖链，提供更可靠的恢复机制。

摘要由CSDN通过智能技术生成

                    
                    位置
 Persist 和 Cache 将数据保存在内存或者磁盘中，CheckPoint 将数据保存在HDFS；
生命周期
 Persist 和 Cache 程序结束后会被清除或手动调用 unpersist 方法，CheckPoint 永久存储不会被删除；
RDD依赖关系
 Persist 和 Cache，不会丢掉RDD间的依赖关系，CheckPoint 会斩断依赖链。