spark core 持久化、自定义分区、数据读取与保存、共享变量

一、RDD持久化

RDD缓存

• RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM的堆空间中。
• 但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。
• 源码显示cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别还有好多种，存储级别在object StorageLevel中定义的。

RDD CheckPoint

• Spark中对于数据的保存除了持久化操作之外，还提供了一种检查点的机制，检查点（本质是通过将RDD写入Disk做检查点）是为了通过lineage做容错的辅助，lineage过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。检查点通过将数据写入到HDFS文件系统实现了RDD的检查点功能。
• 为当前RDD设置检查点。该函数将会创建一个二进制的文件，并存储到checkpoint目录中，该目录是用SparkContext.setCheckpointDir()设置的。在checkpoint的过程中，该RDD的所有依赖于父RDD中的信息将全部被移除。对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发。

import org.apache.log4j.{
   Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.storage.StorageLevel
import org.apache.spark.{
   SparkConf, SparkContext}

/**
 * CREATE BY zhang
 * DATE 2020.09.21 14:10 星期一
 * DESC: spark 持久化
 */
object Demo01Cache {
   
  def main(args: Array[String]): Unit = {
   
    //控制日志输出
    Logger.getLogger("org").setLevel(Level.ERROR)
    /* 初始化 SparkContext */
    val sc = new SparkContext(new SparkConf().setAppName(this.getClass.getName).setMaster("local[2]"))
    /* 并行化生成RDD */
    val scRDD: RDD[String] = sc.textFile("E:\\景航\\aaa.txt")

    /**
     * 多次被复用的RDD，可以用 cache
     * 也可以用 persist
     * 持久化是优化的一种重要手段
     */

    /* 用默认的存储级别 */
    val d: scRDD.type = scRDD.cache()
    /* 可以定义存储的级别 参数用于传递持久化存储级别 */
    val d1: scRDD.type = scRDD.persist()
    /*
      存储级别
        val NONE = new StorageLevel(false, false, false, false)
        val DISK_ONLY = new StorageLevel(true, false, false, false)
        val DISK_ONLY_2 = new StorageLevel(true, false, false, false, 2)
        val MEMORY_ONLY = new StorageLevel(false, true, false, true)
        val MEMORY_ONLY_2 = new StorageLevel(false, true, false, true, 2)
        val MEMORY_ONLY_SER = new StorageLevel(false, true, false, false)
        val MEMORY_ONLY_SER_2 = new StorageLevel(false, true, false, false, 2)
        val MEMORY_AND_DISK = new StorageLevel(true, true, false, true)
        val MEMORY_AND_DISK_2 = new StorageLevel(true, true, false, true, 2)
        val MEMORY_AND_DISK_SER = new StorageLevel(true, true, false, false)
        val MEMORY_AND_DISK_SER_2 = new StorageLevel(true, true, false, false, 2)
        val OFF_HEAP = new StorageLevel(true, true, true, false, 1)
     */

    /* 持久化 仅内存存储 */
    val d2: scRDD.type = scRDD.persist