Spark Streaming checkpoint 实现状态的恢复实现

最新推荐文章于 2023-08-01 07:44:18 发布

iris_new

最新推荐文章于 2023-08-01 07:44:18 发布

阅读量2.5k

点赞数 1

分类专栏： spark 文章标签： spark streaming checkpoint

本文链接：https://blog.csdn.net/iris_new/article/details/74583757

版权

StreamingContext中有个checkpoint方法，用来恢复state。
先说明下：
从数据角度讲下，Checkpoint是对于状态(state)操作生效。
首先，一般情况下在接收数据并保存时并不放在checkpoint里。
对状态(state)的DStream操作(updateStateByKey)，操作会跨多个batch duration，后面数据对前面的有依赖，随着时间的推移，依赖链条会越来越长，这个时候需要使用checkpoint，把这个长链条持久化，成为短链条。

实现代码：

object PullSuppressClosePrice extends Logging{

  //main方法
  def main(args: Array[String]): Unit = {
    startJob()
  }

  def startJob(): Unit ={
    //获取app.conf配置文件信息
    val appConf = ConfigFactory.load("app.conf")
    //stream配置信息
    val streamConfInfo = appConf.getConfig("streaming")

    //