目前使用的Spark 2.1.0有一个很坑爹的问题,如果persist一个df1后unpersist 与df1相关的df0,那么df1也会被unpersist掉,导致后续用到df1的地方又需要重新算df1,降低性能。这个问题直到Spark2.4.0才解决。问题复现如下:
但是rdd的persist不会因为linage的rdd被unpersist后而消失
df.sqlContext.clearCache可以清空所有df的persist,但是清不掉rdd直接persist的。
而
def unpersistUnuse( sc: SparkContext) = {
val persistRdds = sc.getPersistentRDDs
persistRdds.foreach(x => x._2.unpersist() )
}
则可清除掉所有df,rdd的缓存
即使吧df转为rdd persist下来也是没用的,用到df时还是会重复计算