一、闭包检测
从计算的角度,算子以外的代码都是在 Driver 端执行,算子里面的代码都是在 Executor 端执行。那么在 scala 的函数式编程中,就会导致算子内经常会用到算子外的数据,这样就形成了闭包的效果,如果使用的算子外的数据无法序列化,就意味着无法传值给 Executor 端执行,就会发生错误,所以需要在执行任务计算前,检测闭包内的对象是否可以进行序列化,这个操作我们称之为闭包检测。
二、序列化方法与属性
driver 侧的代码中的运算数据需要 extends Serializable,才可以将数据传输到 executor 端进行执行。
package spark.core.serializable
import org.apache.spark.{
SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
/**
* RDD 序列化的介绍
* 从计算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executor 端执行。
* 那么在 scala 的函数式编程中,就会导致算子内经常会用到算子外的数据,这样就形成了闭包的效果,
* 如果使用的算子外的数据无法序列化,就意味着无法传值给 Executor 端执行,就会发生错误,
* 所以需要在执行任务计算前,检测闭包内的对象是否可以进行序列化,这个操作我们称之为闭包检测。
* Scala2.12版本后闭包编译方式发生了改变。
*/
object Spark_RDD_Serializable_Study1 {
def main(args: Array[String]): Unit = {
// 1、创建 SparkConf 并设置 App 名称
val conf: SparkConf = new SparkConf().
setMaster("local[*]").
set("spark.driver.host", "localhost").
setAppName("rdd")
// 2、创建 SparkContext,该对象是提交 Spar