Spark Streaming checkpoint 实现状态的恢复实现

最新推荐文章于 2023-09-10 09:05:55 发布

iris_new

最新推荐文章于 2023-09-10 09:05:55 发布

阅读量2.5k

点赞数 1

分类专栏： spark 文章标签： spark streaming checkpoint

本文链接：https://blog.csdn.net/iris_new/article/details/74583757

版权

Spark Streaming的checkpoint机制用于状态(state)的恢复。在处理依赖跨多个batch duration的状态操作如updateStateByKey时，checkpoint将长依赖链条持久化以缩短链条。getOrCreate方法用于根据checkpoint信息创建或获取StreamingContext，当发生错误时，可自定义处理方式。

摘要由CSDN通过智能技术生成

StreamingContext中有个checkpoint方法，用来恢复state。
先说明下：
从数据角度讲下，Checkpoint是对于状态(state)操作生效。
首先，一般情况下在接收数据并保存时并不放在checkpoint里。
对状态(state)的DStream操作(updateStateByKey)，操作会跨多个batch duration，后面数据对前面的有依赖，随着时间的推移，依赖链条会越来越长，这个时候需要使用checkpoint，把这个长链条持久化，成为短链条。

实现代码：

object PullSuppressClosePrice extends Logging{

  //main方法
  def main(args: Array[String]): Unit = {
    startJob()
  }

  def startJob(): Unit ={
    //获取app.conf配置文件信息
    val appConf = ConfigFactory.load("app.conf")
    //stream配置信息
    val streamConfInfo = appConf.getConfig("streaming")

    //