Spark 中cache和persist详解

cache

cache: 缓存,可以将数据缓存到内存或持久化到磁盘[executor所在的磁盘] 。

cache和persist严格来说不是transformation，也不是action，因为没有生成新的RDD，只是标记了当前RDD要cache或persist。

cache和persist是lazy的，当第一次遇到Action算子的时侯才会进行缓存或持久化,以后再触发Action会读取、复用缓存的RDD的数据再进行操作。

cache底层调用了persist方法；

def persist(): this.type = persist(StorageLevel.MEMORY_ONLY)

存储级别：只存储一份数据在内存中。若内存不够，将以分区为单位，只缓存部分分区的数据。

应用场景：在一个Application中可能触发多次Action，常规运算的话，每次遇到Action算子都可能会反复读取HDFS（数据源）中的数据并重复计算，造成效率低下的问题。

将重要的计算好的中间结果缓存到内存或持久化到磁盘，之后的Action可以复用前面的数据。

应用时机：一个RDD多次触发Action缓存才有意义。

原始数据经过整理过滤后获得中间数据的过程不易，且中间结果比较重要，会在后面的运算中重复使用，此时cache或persist可以大大提高效率。

缓存特点：支持多种StorageLevel，可以将数据序列化,默认放入内存使用的是java对象存储，但是占用空间大，优点速度快，也可以使用其他的序列化方式。

示例：

原代码如下:

object CacheDemo {
  def main(args: Array[String]): Unit = {
    System.setProperty("HADOOP_USER_NAME","root")
    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getCanonicalName).setMaster("local[*]")
    val sc = new SparkContext(conf)
    val lines: RDD[String] = sc.textFile("hdfs://xiaobai:9000/cacheDemo")
    val filter: RDD[String] = lines.filter(x => x.endsWith("laozhao"))
    val nums: Long = filter.count()
    println(nums)
    Thread.sleep(Integer.MAX_VALUE)
    sc.stop()
  }
}

任务执行时间如下:

对代码中filter进行cache:

val filter: RDD[String] = lines.filter(x => x.endsWith("laozhao"))
filter.cache()
val nums1: Long = filter.count()
val nums2: Long = filter.count()

任务执行时间如下:

对 filter 进行 cache后，第二次的运行时间从2s降低到90ms,大大提高了效率。

persist

StorageLevel:存储级别

val NONE = new StorageLevel(false, false, false, false)
val DISK_ONLY = new StorageLevel(true, false, false, false)
val DISK_ONLY_2 = new StorageLevel(true, false, false, false, 2)
val MEMORY_ONLY = new StorageLevel(false, true, false, true)
val MEMORY_ONLY_2 = new StorageLevel(false, true, false, true, 2)
val MEMORY_ONLY_SER = new StorageLevel(false, true, false, false)
val MEMORY_ONLY_SER_2 = new StorageLevel(false, true, false, false, 2)
val MEMORY_AND_DISK = new StorageLevel(true, true, false, true)
val MEMORY_AND_DISK_2 = new StorageLevel(true, true, false, true, 2)
val MEMORY_AND_DISK_SER = new StorageLevel(true, true, false, false)
val MEMORY_AND_DISK_SER_2 = new StorageLevel(true, true, false, false, 2)
val OFF_HEAP = new StorageLevel(true, true, true, false, 1)

1.MEMORY_ONLY

使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据(oom)，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重新计算一遍。这是默认的持久化策略。

2.MEMORY_AND_DISK

使用未序列化的Java对象格式，优先尝试将数据保存在内存中。如果内存不够存放所有的数据，会将数据写入磁盘文件中，下次对这个RDD执行算子时，持久化在磁盘文件中的数据会被读取出来使用。

3.MEMORY_ONLY_SER

基本含义同MEMORY_ONLY。唯一的区别是，会将RDD中的数据进行序列化，RDD的每个partition会被序列化成一个字节数组。这种方式更加节省内存，从而可以避免持久化的数据占用过多内存导致频繁GC(garbage collection)。

4.MEMORY_AND_DISK_SER

基本含义同MEMORY_AND_DISK。唯一的区别是，会将RDD中的数据进行序列化，RDD的每个partition会被序列化成一个字节数组。这种方式更加节省内存，从而可以避免持久化的数据占用过多内存导致频繁GC。

5.DISK_ONLY

使用未序列化的Java对象格式，将数据全部写入磁盘文件中。

 

建议:

推荐使用持久化级别顺序:

MEMORY_ONLY ----> MEMORY_ONLY_SER ----> MEMORY_AND_DISK_SER ----> MEMORY_AND_DISK

通常不建议使用DISK_ONLY和后缀为_2的级别：