Cache-Persist-Checkpoint 的区别

cache()与persist()的区别
会被重复使用的但是不能太大的RDD需要cache,
cache()调用了persist(),区别在于cache只有一个默认的缓存级别MEMORY_ONLY,而persist可以根据情况设置其它的缓存级别,StorageLevel类中有12种缓存级别.

---

cache 与 checkpoint 的区别
运算时间很长或运算量太大才能得到的 RDD,computing chain过长或依赖其他 RDD 很多的 RDD.
实际上将 ShuffleMapTask 的输出结果存放到本地磁盘也算是 checkpoint，只不过这个 checkpoint 的主要目的是去 partition 输出数据。

cache 机制是每计算出一个要 cache 的 partition 就直接将其 cache 到内存了。

但 checkpoint 没有使用这种第一次计算得到就存储的方法，而是等到 job 结束后另外启动专门的 job 去完成 checkpoint 。
也就是说需要 checkpoint 的 RDD 会被计算两次。因此在使用 rdd.checkpoint() 的时候建议加上 rdd.cache()，

---

persist()与checkpoint()的区别
深入一点讨论，rdd.persist(StorageLevel.DISK_ONLY) 与 checkpoint 也有区别。
前者虽然可以将 RDD 的 partition 持久化到磁盘，但该 partition 由 blockManager 管理。
一旦 driver program 执行结束，也就是 executor 所在进程 CoarseGrainedExecutorBackend stop，blockManager 也会 stop， 被 cache 到磁盘上的 RDD 也会被清空（整个 blockManager 使用的 local 文件夹被删除）。
而 checkpoint 将 RDD 持久化到 HDFS 或本地文件夹，如果不被手动 remove 掉（ 话说怎么 remove checkpoint 过的 RDD？ ），是一直存在的，也就是说可以被下一个 driver program 使用，而 cached RDD 不能被其他 dirver program 使用。

（转自网络）