spark 序列化对象时的问题-Serializable

package com.ser

import java.net.InetAddress

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

// 如果s
object serTest {
  def main(args: Array[String]): Unit = {
    // 第二种方式 class文件就行
    //如果在driver端进行实例化getComputerInfo对象的话，传送到Executor端的话需要进行实例化，还必须进行序列化
    // 不然会报错误
    //使用一个Executor中多个task时，就有多个getComputerInfo对象
    // val infos: getComputerInfo = new getComputerInfo

    // 第三种方式 object文件就行
    //如果在driver端进行实例化getComputerInfo对象的话，传送到Executor端的话需要进行实例化
    //使用一个Executor中多个task只有一个getComputerInfo对象c

    // 第四种方式
    // getComputerInfo在Executor中被初始化（不走网络了，就不必实现序列化了） 必须是使用静态的object类，不要序列化
    //直接在Executor中被初始化,直接类名.属性名.方法名
    val infos: getComputerInfo.type = getComputerInfo
    val conf: SparkConf = new SparkConf().setAppName("sertTest").setMaster("local[*]")
    val sc: SparkContext = new SparkContext(conf)
    val line: RDD[String] = sc.textFile("hdfs://hadoop01:9000/testdate/e.txt")
    val r: RDD[(String, String, Any, String)] = line.map(word => {
      // 在map函数的里，第一种方式 （太浪费资源)
      // 传送到Executor端的话需要进行实例化，每个Executor都会实例化getComputerInfo class就行
      //  val infos: getComputerInfo = new getComputerInfo
      val hostname: String = InetAddress.getLocalHost.getHostName
      val threadName: String = Thread.currentThread().getName
      (hostname, threadName, infos.resultMap.getOrElse(word, "have not this word"), infos.toString)
    })
    r.saveAsTextFile("hdfs://hadoop01:9000/testdate/output")
    sc.stop()
  }
}

package com.ser

import java.net.InetAddress
object getComputerInfo extends Serializable {
  val resultMap: Map[String, Double] = Map("hadoop"->2.7,"spark"->2.2)
  //val hostname: String = InetAddress.getLocalHost.getHostName
  //println(hostname+"@@@@@@@@")
}