Spark入门篇——RDD的缓存/持久化

目录

RDD的缓存/持久化

缓存的意义

RDD的缓存方式

cache注意事项

Checkpoint

原理

流程

缓存和checkpoint的比较

例子

---

RDD的缓存/持久化

Spark速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存数据集。当持久化某个RDD之后，每一个节点都将把计算的分片结果保存在内存中，并且对此RDD或衍生出的RDD进行的其他动作重用。这使得后续的动作变得更加迅速。

默认情况下，每一个转换过的RDD都会在它之上执行一个动作时被重新计算。从某种意义上来说，对于没有持久化的RDD，compute方法实现了依赖链的递归调用(compute->firstParent.iterator->compute)。

缓存的意义

RDD被缓存之后，Spark将会在集群中，保存相关元数据，下次使用这个RDD时，它将能更快访问，不需要计算。RDD相关的持久化和缓存，是Spark最重要的特征之一。可以说，缓存是Spark构建迭代算法和快速交互式查询的关键。

如果一个RDD只被使用一次或者很少次，不需要持久化。如果持久化无用的RDD，会浪费内存(或磁盘)空间，反而降低了整个系统的性能。如果RDD被重复使用或者计算其代价很高，才会考虑持久化。另外，shuffle后生成的RDD尽量持久化，因为shuffle代价太高了。

RDD的缓存方式

RDD通过persist方法和cache方法可以通过前面得计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面的计算使用。

我们可以看到cache最