Spark系列--Spark Streaming(八)累加器和广播变量

最新推荐文章于 2022-07-13 16:59:16 发布

淡淡的倔强

最新推荐文章于 2022-07-13 16:59:16 发布

阅读量1.7k

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/u012834750/article/details/81326951

版权

本文介绍了Spark Streaming中累加器和广播变量的使用，特别强调了它们无法从检查点中恢复的特性。当启用检查点且使用这两种变量时，需要确保在驱动程序失效重启后能够重新实例化。

摘要由CSDN通过智能技术生成

累加器(Accumulators)和广播变量(Broadcast variables)不能从Spark Streaming的检查点中恢复。如果你启用检查并也使用了累加器和广播变量，那么你必须创建累加器和广播变量的延迟单实例从而在驱动因失效重启后他们可以被重新实例化。如下例述：

object WordBlacklist {

  @volatile private var instance: Broadcast[Seq[String]] = null

  def getInstance(sc: SparkContext): Broadcast[Seq[String]] = {
    if (instance == null) {
      synchronized {
        if (instance == null) {
          val wordBlacklist = Seq("a", "b", "c")
          instance = sc.broadcast(wordBlacklist)
        }
      }
    }
    instance
  }
}

object Dropped