《Spark 6》--Spark的缓存机制（cache 和 persist）、检查点（checkpoint）机制、以及二者的联系与区别

缓存 ：cache / persist

    1.spark的缓存级别参照【org.apache.spark.storage.StorageLevel.scala】
    在persist()中可以指定一个StorageLevel,当StorageLevel为MEMORY_ONLY时就是cache.                                              
    StorageLevel的列表可以在StorageLevel伴生单例对象中查看 :                                            

 class StorageLevel private(
        private var _useDisk: Boolean,
        private var _useMemory: Boolean,
        private var _useOffHeap: Boolean,
        private var _deserialized: Boolean,
        private var _replication: Int = 1) //hdfs的副本是存3份，RDD默认的副本数是1
        extends Externalizable
        
    new StorageLevel(_useDisk,_useMemory, _useOffHeap,_deserialized,_replication: Int = 1)
    val NONE = new StorageLevel(false, false, false, false)
    val DISK_ONLY = new StorageLevel(true, false, false, false)
    val DISK_ONLY_2 = new StorageLevel(true, false, false, false, 2)
    val MEMORY_ONLY = new StorageLevel(false, true, false, true)
    val MEMORY_ONLY_2 = new StorageLevel(false, true, false, true, 2)
    val MEMORY_ONLY_SER = new StorageLevel(false, true, false, false)
    val MEMORY_ONLY_SER_2 = new StorageLevel(false, true, false, false, 2)
    val MEMORY_AND_DISK = new StorageLevel(true, true, false, true)
    val MEMORY_AND_DISK_2 = new StorageLevel(true, true, false, true, 2)
    val MEMORY_AND_DISK_SER = new StorageLevel(true, true, false, false)
    val MEMORY_AND_DISK_SER_2 = new StorageLevel(true, true, false, false, 2)
    val OFF_HEAP = new StorageLevel(true, true, true, false, 1)

    默认缓存级别：def persist