flink根据checkpoints状态恢复数据

最新推荐文章于 2023-07-05 16:24:58 发布

bankq

最新推荐文章于 2023-07-05 16:24:58 发布

阅读量5.2k

点赞数 8

分类专栏： flink 文章标签： flink

本文链接：https://blog.csdn.net/bankq/article/details/118413666

版权

flink 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

说明

本篇文章记录自己在工作中使用flink做实时计算遇到重启问题。

本文基于flink消费kafak数据，经过处理转化以后，最终数据落到ES数据库，

在flink程序中已经启用了checkpoints

//  默认checkpoint功能是disabled的 想要使用的时候需要先启用 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】
      env.enableCheckpointing(60000)
      // 高级选项：// 设置模式为exactly-once （这是默认值）
      env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE)
      // 确保检查点之间有至少500 ms的间隔【checkpoint最小间隔】
      env.getCheckpointConfig.setMinPauseBetweenCheckpoints(30000)
      // 检查点必须在一分钟内完成，或者被丢弃【checkpoint的超时时间】
      env.getCheckpointConfig.setCheckpointTimeout(60000)
      // 同一时间只允许进行一个检查点
      env.getCheckpointConfig.setMaxConcurrentCheckpoints(1)
      //表示一旦Flink处理程序被cancel后，会保留Checkpoint数据，以便根据实际需要恢复到指定的Checkpoint【详细解释见备注】
      env.getCheckpointConfig.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
      //RETAIN_ON_CANCELLATION:表示一旦Flink处理程序被cancel后，会保留Checkpoint数据，以便根据实际需要恢复到指定的Checkpoint
      //DELETE_ON_CANCELLATION: 表示一旦Flink处理程序被cancel后，会删除Checkpoint数据，只有job执行失败的时候才会保存checkpoint

1、启动flink程序

flink有两种运行模式，一种是运行在yarn上面，另一种是本地。

本文使用的是运行在yarn上面，通过编写启动脚本，指定参数

[bigdata@cdh03 /bigdata/flink-1.7.2-client/sh]$cat submit-flink-yarn-merge.sh
#!/bin/bash

#-m 运行模式，这里使用yarn-cluster，即yarn集群模式。
#-ys slot个数。
#-ynm Yarn application的名字。
#-yn task manager 数量。-yn并不能决定TaskManager的数量。其实在flink-1.7版本提交任务的时候就可以通过日志信息发现这个参数是弃用的
#-yjm job manager 的堆内存大小。
#-ytm task manager 的堆内存大小。
#-d detach模式。可以运行任务后无需再控制台保持连接。
#-c 指定jar包中class全名
# yn(实际) = Math.ceil(p/ys)
#ys(总共) = yn(实际) * ys(指定)
#ys(使用) = p(指定)
#-yn 3 \
#-ys 2 \
currentTime=$(date '+%Y%m%d%H%M%S')
echo $currentTime
../bin/flink run \
-m yarn-cluster \
-ynm flinkwaring$currentTime \
-ys 1 \
-p 4 \
-yjm 1024m \
-ytm 1024m \
-d \
-c com.gs.task.Launcher ../task/flinkETL-1.0-SNAPSHOT-jar-with-dependencies.jar --path ../resource/system.properties

启动