序列化问题和多线程问题

序列化问题

闭包.函数内部引用了函数外部的类型(如果没有被序列化,就会报错)
什么情况下只有一个stage,
没有产生shuffle的情况下,那么这个stage就是resultTask
每个job有且只有一个ResultTask,前面的都是shuffleMapTask
Task和ResultTask都继承了Task实现了Serializable
 
函数内部引用了没有序列化的类型,当Task中引用了没有序列化的类型,执行程序就会触发 Task Not Serializable
Task是在Drever生成的,当Task要在Excutor运行的时候,Excutor发现没有序列化的函数就会报错
 
 那么有4中解决方案
 1 实现object序列化 一个executor一个实例
 2实现class序列化 有几个task就有几个实例
 3在函数内部创建实例  !!不要在函数中new实例.这样每条数据都会创建一个实例
 4最好的解决方案是使用mappartition.这样一个分区创建一个实例,也解决了多线程的问题
 不要加锁速度会变慢
 FastDateFormat.getIntance(yyyy-MM-dd,HH mm ss)这个更快更安全

package cn._51doit.spark.day08

import java.net.InetAddress

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext, TaskContext}

object SerTest03 {

  def main(args: Array[String]): Unit = {

    val isLocal = args(0).toBoolean

    val conf = new SparkConf().setAppName(this.getClass.getCanonicalName)

    if (isLocal) {
      conf.setMaster("local[*]")
    }
    val sc = new SparkContext(conf)

    val lines = sc.textFile(args(1))

    //传入Map的函数是在Driver定义的，但是是在Executor调用执行的
    val tpRdd: RDD[(String, String, Int, Long, String, String)] = lines.map(w => {
      val rulesMap = new RulesMapClassNotSer //每处理一条数据就会new一个实例
      //闭包（rulesMap要在Executor被使用）
      val province = rulesMap.rules.getOrElse(w, "未知")
      val taskId = TaskContext.getPartitionId()
      val threadId = Thread.currentThread().getId
      val hostName = InetAddress.getLocalHost.getHostName
      (w, province, taskId, threadId, hostName, rulesMap.toString)
    })

    tpRdd.saveAsTextFile(args(2))

    sc.stop()

  }
}

!!!这样不好

----------------

package cn._51doit.spark.day08

import java.net.InetAddress

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext, TaskContext}

object SerTest04 {

  def main(args: Array[String]): Unit = {

    val isLocal = args(0).toBoolean

    val conf = new SparkConf().setAppName(this.getClass.getCanonicalName)

    if (isLocal) {
      conf.setMaster("local[*]")
    }
    val sc = new SparkContext(conf)

    val lines = sc.textFile(args(1))

    //不在Driver初始化object或class的实例

    //传入Map的函数是在Driver定义的，但是是在Executor调用执行的
    val tpRdd: RDD[(String, String, Int, Long, String, String)] = lines.map(w => {
      val rulesMap = RulesMapObjectNotSer //在Executor端的Task中
      //闭包（rulesMap要在Executor被使用）
      val province = rulesMap.rules.getOrElse(w, "未知")
      val taskId = TaskContext.getPartitionId()
      val threadId = Thread.currentThread().getId
      val hostName = InetAddress.getLocalHost.getHostName
      (w, province, taskId, threadId, hostName, rulesMap.toString)
    })

    tpRdd.saveAsTextFile(args(2))

    sc.stop()

  }
}
----------------------


class RulesMapClassNotSer {

  val rules = Map("ln" -> "辽宁省", "bj" -> "北京市", "sh" -> "上海市", "sd" -> "山东省")
}