在Scala中使用StreamingContext.getActiveOrCreate遇到的坑

本次问题仅用于scala生产环境
当我们在现实生产活动中尤其是在处理实时数据都难免会遇到某些特殊原因导致宕机,而当我们重新接收并处理的数据需要进行计算结果联系时,这种情况将会十分严重,因为宕机后之前在缓存数据都将在重启后消失.这就会导致计算结果产生误差.
因此这里我们使用StreamingContext.getActiveOrCreate和ssc.checkpoint函数来处理,大体过程如下:

val conf = new SparkConf()
    conf.setMaster("local[*]")
    conf.setAppName("BiPassCntCkp")
    val ssc = new StreamingContext(conf, Seconds(3))
StreamingContext.getActiveOrCreate(＂设置备份指针文件夹在hdfs的位置＂, 返回类型为StreamingContext的空参函数)

val stream = accessStreamingData(ssc)

/**
*输入处理步骤
*/
ssc.checkpoint(＂设置备份指针文件夹在hdfs的位置＂)

ssc.start()
ssc.awaitTermination()

这顺序在逻辑上是正确的,但是实际却在实例化stream流时报错,这是非常坑人的小bug,经过长时间翻阅资料和源码分析,发现问题是在getActiveOrCreate方法中返回的StreamingContext上,该StreamingContext是无法创建StreamingData的.

解决方法:
创在创建返回类型为StreamingContext的空参函数时就把处理步骤写到该函数中如下:

private val ckp = "/apps/spark/3"
def createSSC(): StreamingContext = {
  val conf = new SparkConf()
  conf.setMaster("local[*]")
  conf.setAppName("BiPassCntCkp")
  val ssc = new StreamingContext(conf, Seconds(3))
val stream = accessStreamingData(ssc)

/**
*输入处理步骤
*/
}
 def main(args: Array[String]): Unit = {

    val ssc = StreamingContext.getOrCreate(ckp, createSSC _)
    ssc.start()
    ssc.awaitTermination()

  }

即可完美解决问题!