对齐及非对齐屏障
分界线对齐:等到上游所有的并行子分区barrier都到齐,才去保存当前任务的状态
缺点:先到达的分区要做缓存等待,会造成数据数据堆积(背压)
非分界线对齐:Flink1.11版本提供不对齐的检查点保存方式,可以将未处理的缓冲数据也保存进检查点。这样遇到分区barrier时就不需要等待对齐,而是可以直接启动状态的保存
缺点:每个检查点较对齐方式需要保存更多信息,即未处理的数据
如何实现:
Flink默认是禁用检查点的,如果需要开启自动保存快照的功能,需要在代码中调用执行环境的enableCheckpointing()方法,参数毫秒
实时性容错性要求越高,配置时间越短,侧此时对于服务器性能要求就比较高
// 启用检查点,每隔 1 秒启动一次检查点保存
env.enableCheckpointing(1000L);
CheckpointConfig checkpointConfig = env.getCheckpointConfig();
// 检查点模式:设置精确一次模式
checkpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// 同时只能有一个检查点
checkpointConfig.setMaxConcurrentCheckpoints(1);
// 启用不对齐的检查点保存方式:不再执行检查点的分界线对齐操作,启用之后可以大大减少产生背压时的检查点保存时间
//需要setCheckpointingMode为EXACTLY_ONCE;setMaxConcurrentCheckpoints为1
checkpointConfig.enableUnalignedCheckpoints();
//设置检查点存储方法一:存储检查点到 JobManager 堆内存
env.getCheckpointConfig().setCheckpointStorage(new JobManagerCheckpointStorage());
// 设置检查点存储方法二:配置存储检查点到文件系统
checkpointConfig.setCheckpointStorage(new FileSystemCheckpointStorage("hdfs://namenode:40010/flink/checkpoints"));
// 最小间隔时间 500 毫秒,,检查点协调器(checkpoint coordinator)最快等多久可以出发保存下一个检查点的指令。
checkpointConfig.setMinPauseBetweenCheckpoints(500);
// 超时时间 1 分钟,用于指定检查点保存的超时时间,超时没完成就会被丢弃掉。传入一个长整型毫秒数作为参数,表示超时时间。
checkpointConfig.setCheckpointTimeout(60000);