- 位置
Persist 和 Cache 将数据保存在内存或者磁盘中,CheckPoint 将数据保存在HDFS; - 生命周期
Persist 和 Cache 程序结束后会被清除或手动调用 unpersist 方法,CheckPoint 永久存储不会被删除; - RDD依赖关系
Persist 和 Cache,不会丢掉RDD间的依赖关系,CheckPoint 会斩断依赖链。
简述Spark中的缓存(cache和persist)与checkpoint机制,并指出两者的区别和联系
最新推荐文章于 2022-06-22 16:17:16 发布