Spark--RDD序列化

一.闭包检查

从计算的角度, 算子以外的代码都是在Driver 端执行, 算子里面的代码都是在 Executor 端执行。那么在 scala 的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，如果使用的算子外的数据无法序列化，就意味着无法传值给Executor 端执行，就会发生错误，所以需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。Scala2.12 版本后闭包编译方式发生了改变

二.序列化方法和属性

从计算的角度, 算子以外的代码都是在Driver 端执行, 算子里面的代码都是在 Executor 端执行，看如下代码：

object Spark_rdd_01 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("RDD").setMaster("local[*]")
    val sc = new SparkContext(conf)
    // 创建一个RDD
    val rdd: RDD[String] = sc.makeRDD(Array("hello world","hello spark","hive","java"))

    // 创建一个Search对象
    val search = new Search("h")

    // 函数传递，打印
    search.getMatch1(rdd).collect().foreach(println)

    println("-----------")
    // 属性传递，打印
    search.getMatch2(rdd).collect().foreach(println)


    sc.stop()
  }
  //查询对象
  //类的构造参数其实是类的属性，构造参数需要进行闭包检测，其实就等同于类进行闭包检测
  class Search(query:String) extends Serializable {
    def isMatch(s:String):Boolean={
      s.contains(this.query)
    }

    //函数序列化案例
    def getMatch1(rdd:RDD[String]):RDD[String]={
      rdd.filter(isMatch)
    }

    //属性序列化案例
    def getMatch2(rdd:RDD[String]):RDD[String]={
      rdd.filter(x=>x.contains(query))
    }

  }
}

hello world
hello spark
hive
-----------
hello world
hello spark
hive

object Spark_rdd_01 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("RDD").setMaster("local[*]")
    val sc = new SparkContext(conf)
    // 创建一个RDD
    val rdd: RDD[String] = sc.makeRDD(Array("hello world","hello spark","hive","java"))

    // 创建一个Search对象
    val search = new Search("h")


    // 属性传递，打印
    search.getMatch2(rdd).collect().foreach(println)


    sc.stop()
  }
  //查询对象
  //这次不用序列化
  class Search(query:String)  {
    def isMatch(s:String):Boolean={
      s.contains(this.query)
    }

    //函数序列化案例
    def getMatch1(rdd:RDD[String]):RDD[String]={
      rdd.filter(isMatch)
    }

    //属性序列化案例
    def getMatch2(rdd:RDD[String]):RDD[String]={
      val s=query
      rdd.filter(x=>x.contains(s))
    }

  }
}

hello world
hello spark
hive

三.Kryo序列化框架

Java 的序列化能够序列化任何的类。但是比较重（字节多），序列化后，对象的提交也比较大。Spark 出于性能的考虑，Spark2.0 开始支持另外一种Kryo 序列化机制。Kryo 速度是 Serializable 的 10 倍。当 RDD 在 Shuffle 数据的时候，简单数据类型、数组和字符串类型已经在 Spark 内部使用 Kryo 来序列化。
注意：即使使用Kryo 序列化，也要继承Serializable 接口。