Spark-RDD序列化、缓存与检查点

RDD序列化：

闭包检查：从计算角度看，算子之外的代码都是在Driver端执行的，算子里面的代码都是在Executor端执行。
		  那么在scala的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，
		  如果使用的算子外的数据无法序列化，就意味着无法传值给Executor端执行，就会发生错误，
		  所以需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。
解决方法：**采用继承serializeable来解决**
		**在相关类方法前加case（样例类）样例类默认实现可序列化接口**

   val rdd: RDD[String] = sc.makeRDD(Array("hello world", "hello spark", "hive", "atguigu"))
    // 创建一个search对象
    val search = new Search("hello")
    // 函数传递：
    search.getMatch1(rdd).collect().foreach(println)
    // 属性传递
    search.getMatch2(rdd).collect().foreach(println)
    sc.stop()
  }
  case class Search(query:String) {
    def isMatch(s:String):Boolean = {
      s.contains(query)
    }
    // 函数序列化案例
    def getMatch1 (rdd:RDD[String]):RDD[String] = {
      rdd.filter(isMatch)
    }
    // 属性序列化案例
    def getMatch2 (rdd:RDD[String]):RDD[String] ={
      val q = query
      rdd.filter(s=>s.contains(q))
    }
  }

cache缓存：

	RDD通过Cache或者Persist方法将前面的计算结果缓存，默认情况下会把数据以缓存在JVM的堆内存中。
	但是并不是这两个方法被调用时立即缓存，而是触发后面的action算子时，该RDD将会被缓存在计算节点的内存中，并供后面重用。

val rdd: RDD[String] = sc.makeRDD(List("hello scala"))
    val rdd1: RDD[String] = rdd.flatMap(_.split(" "))
    val rdd3: RDD[(String, Int)] = rdd1.map((_,1))
        // 数据缓存
    rdd3.cache()
    // 更改储存级别
    //rdd3.persist(StorageLevel.MEMORY_ONLY)
    val reduceRdd: RDD[(String, Int)] = rdd3.reduceByKey(_+_)
    val groupRdd: RDD[(String, Iterable[Int])] = rdd3.groupByKey()
    reduceRdd.collect().foreach(println)
    groupRdd.collect().foreach(println)

checkpoint：

所谓的检查点其实就是通过将RDD中间结果写入磁盘
		由于血缘依赖过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果检查点之后有节点出现问题，可以从检查点开始重做血缘，减少了开销。
		对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发。
		最好将路径设定为==HDFS==
		单独调用checkpoint时，会导致Job执行多次，所以一般和cache联用

val rdd: RDD[String] = sc.makeRDD(List("hello scala"))
    val rdd1: RDD[String] = rdd.flatMap(_.split(" "))
    val rdd3: RDD[(String, Int)] = rdd1.map((_,1))
        // 数据缓存
    rdd3.cache()
    rdd3.checkpoint()
    // 更改储存级别
    //rdd3.persist(StorageLevel.MEMORY_ONLY)
    val reduceRdd: RDD[(String, Int)] = rdd3.reduceByKey(_+_)
    reduceRdd.collect().foreach(println)

缓存和检查点区别

1）Cache缓存只是将数据保存起来，不切断血缘依赖。Checkpoint检查点切断血缘依赖。
2）Cache缓存的数据通常存储在磁盘、内存等地方，可靠性低。Checkpoint的数据通常存储在HDFS等容错、高可用的文件系统，可靠性高。
3）建议对checkpoint()的RDD使用Cache缓存，这样checkpoint的job只需从Cache缓存中读取数据即可，否则需要再从头计算一次RDD。