由于Spark操作都是底层rdd,所以这里仅以rdd做介绍,dataset和daraframe原理一样。
由于rdd的懒加载机制,官方文档说明在rdd.persist时需要用rdd的action来触发其执行。
有时我们为了追求性能,会选用一些性能高的操作,如rdd.take(1),rdd.isEmpty()来触发。
但是!!!
如果rdd具有多个partition,这些高性能操作并不会将所有partition全部persist下来,而是仅persist一个partition。
若想全部persist下来,则要用rdd.count,rdd.foreachParition等遍历所有parition的操作!