Spark Streaming整合检查点与累加器/广播变量

最新推荐文章于 2022-11-17 21:47:31 发布

神之凝视

最新推荐文章于 2022-11-17 21:47:31 发布

阅读量230

点赞数

分类专栏： Spark 流计算 Scala 文章标签： spark spark streaming

本文链接：https://blog.csdn.net/qq_27600723/article/details/108982587

版权

本文介绍了Spark Streaming中检查点恢复时累加器和广播变量的问题。当启用检查点并结合使用累加器或广播变量时，需要通过延迟实例化的单例模式来确保在驱动程序故障后能够重新实例化这些组件。

摘要由CSDN通过智能技术生成

一.简介

无法从Spark Streaming中的检查点恢复累加器和广播变量。如果启用检查点并同时使用“ 累加器”或“广播变量” ，则必须为“累加器”和“广播变量”创建延迟实例化的单例实例，以便在驱动程序发生故障重新启动后可以重新实例化它们。

二.代码实现

package org.apache.spark.examples.streaming

import java.io.File
import java.nio.charset.Charset

import com.google.common.io.Files

import org.apache.spark.{
   SparkConf, SparkContext}
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{
   Seconds, StreamingContext, Time}
import org.apache.spark.util.{
   IntParam, LongAccumulator}

/**
 * Use this singleton to get or register a Broadcast variable.
 */
object WordBlacklist {
   

  @volatile private var instance: Broadcast[Seq[String]] = null

  def getInstance(sc: SparkContext): Broadcast[Seq[String]] = {
   
    if