Spark中RDD的函数传递——实现Serializable序列化

RDD中的函数传递，例如把重复性的代码封装成方法，需要的时候直接调用即可，体现的是面向对象的思想。

原理：

初始化工作是在Driver程序中（构建SparkContext的类）进行，但是实际执行是在Worker节点中的Executor中进行的；

当Executor端执行时需要用到Driver端封装的class对象时，就需要把Driver端的对象通过序列化传输到Executor端，这个class方法需要实现Serializable序列化。

否则会报错，class没有实现序列化

Serialization stack:
- object not serializable (class: com.kevin.spark.core.Search, value: com.kevin.spark.core.Search@aa21042)

上正确代码

package com.kevin.spark.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object Spark03_Search {
    def main(args: Array[String]): Unit = {
        val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Application")

        //构建Spark上下文
        val sc: SparkContext = new SparkContext(conf)

        //创建RDD
        val rdd = sc.makeRDD(Array("abc", "bcd", "cde"))
        
        //创建需要封装的Search对象
        val s = new Search("b")
        val newRDD: RDD[String] = s.getMatch1(rdd)
        newRDD.collect().foreach(println)

        //释放资源
        sc.stop()
    }
}

//构建查询类
class Search(query: String) extends Serializable {
    //包含字符串query的数据isMatch
    def isMatch(s: String) = {
        s.contains(query)
    }

    //过滤出包含字符串的RDD
    def getMatch1(rdd: RDD[String]) = {
        rdd.filter(isMatch)
    }

    //过滤出包含字符串的RDD
    def getMatch2(rdd: RDD[String]) = {
        rdd.filter(x => x.contains(query))
    }
}

打印结果：

abc
bcd