Spark Streaming整合检查点与累加器/广播变量

一.简介

无法从Spark Streaming中的检查点恢复累加器和广播变量。如果启用检查点并同时使用“ 累加器”或“广播变量” ，则必须为“累加器”和“广播变量”创建延迟实例化的单例实例， 以便在驱动程序发生故障重新启动后可以重新实例化它们。

二.代码实现

package org.apache.spark.examples.streaming

import java.io.File
import java.nio.charset.Charset

import com.google.common.io.Files

import org.apache.spark.{
   SparkConf, SparkContext}
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{
   Seconds, StreamingContext, Time}
import org.apache.spark.util.{
   IntParam, LongAccumulator}

/**
 * Use this singleton to get or register a Broadcast variable.
 */
object WordBlacklist {
   

  @volatile private var instance: Broadcast[Seq[String]] = null

  def getInstance(sc: SparkContext): Broadcast[Seq[String]] = {
   
    if