Spark RDD 缓存，持久化 cache()，persist()

1、memory_only（仅在内存中）

spark会将RDD作为未序列化的java对象存于内存，如果spark估算不是所有的分区能在内存中容纳，那么Spark不会将RDD缓存，以后用到该RDD,会根据血统重新计算

userRDD.cache()
userRDD.persist()
userRDD.persist(StorageLevel.MEMORY_ONLY)

劣势：占用大量内存，如果缓存过多对象，将对垃圾回收产生压力

2、memory_only_ser（仅在内存中，但是经过序列化）

userRDD.persist(StorageLevel.MEMORY_ONLY_SER)

劣势：数据被序列化，再使用的时候需要反序列化，属于CPU密集型操作

3、memory_and_disk（在内存和磁盘）

spark会将RDD作为未序列化的java对象存于内存，如果spark估算不是所有的分区能在内存中容纳，那么Spark会将放不下的对象写入磁盘

userRDD.persist(StorageLevel.MEMORY_AND_DISK)

劣势：读取数据会有IO的负载

4、memory_and_disk_ser（序列化后存于内存和磁盘）

userRDD.persist(StorageLevel.MEMORY_AND_DISK_SER)

5、disk_only（序列化后存于磁盘）

userRDD.persist(StorageLevel.DISK_ONLY)

劣势：需要反序列化，CPU密集，读取磁盘是IO，比较耗性能

6、OFF_HEAP（堆外存储）

userRDD.persist(StorageLevel.OFF_HEAP)