目录
RDD的缓存/持久化
Spark速度非常快的原因之一,就是在不同操作中可以在内存中持久化或缓存数据集。当持久化某个RDD之后,每一个节点都将把计算的分片结果保存在内存中,并且对此RDD或衍生出的RDD进行的其他动作重用。这使得后续的动作变得更加迅速。
默认情况下,每一个转换过的RDD都会在它之上执行一个动作时被重新计算。从某种意义上来说,对于没有持久化的RDD,compute方法实现了依赖链的递归调用(compute->firstParent.iterator->compute)。
缓存的意义
RDD被缓存之后,Spark将会在集群中,保存相关元数据,下次使用这个RDD时,它将能更快访问,不需要计算。RDD相关的持久化和缓存,是Spark最重要的特征之一。可以说,缓存是Spark构建迭代算法和快速交互式查询的关键。
如果一个RDD只被使用一次或者很少次,不需要持久化。如果持久化无用的RDD,会浪费内存(或磁盘)空间,反而降低了整个系统的性能。如果RDD被重复使用或者计算其代价很高,才会考虑持久化。另外,shuffle后生成的RDD尽量持久化,因为shuffle代价太高了。
RDD的缓存方式
RDD通过persist方法和cache方法可以通过前面得计算结果缓存,但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面的计算使用。
我们可以看到cache最