Flink-关于barrier对齐/不对齐,及实现

对齐及非对齐屏障

分界线对齐:等到上游所有的并行子分区barrier都到齐,才去保存当前任务的状态
缺点:先到达的分区要做缓存等待,会造成数据数据堆积(背压)

非分界线对齐:Flink1.11版本提供不对齐的检查点保存方式,可以将未处理的缓冲数据也保存进检查点。这样遇到分区barrier时就不需要等待对齐,而是可以直接启动状态的保存
缺点:每个检查点较对齐方式需要保存更多信息,即未处理的数据

如何实现:

Flink默认是禁用检查点的,如果需要开启自动保存快照的功能,需要在代码中调用执行环境的enableCheckpointing()方法,参数毫秒
实时性容错性要求越高,配置时间越短,侧此时对于服务器性能要求就比较高

// 启用检查点,每隔 1 秒启动一次检查点保存
env.enableCheckpointing(1000L);
CheckpointConfig checkpointConfig = env.getCheckpointConfig();
// 检查点模式:设置精确一次模式
checkpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// 同时只能有一个检查点
checkpointConfig.setMaxConcurrentCheckpoints(1);
// 启用不对齐的检查点保存方式:不再执行检查点的分界线对齐操作,启用之后可以大大减少产生背压时的检查点保存时间
//需要setCheckpointingMode为EXACTLY_ONCE;setMaxConcurrentCheckpoints为1
checkpointConfig.enableUnalignedCheckpoints();
//设置检查点存储方法一:存储检查点到 JobManager 堆内存
env.getCheckpointConfig().setCheckpointStorage(new JobManagerCheckpointStorage());
// 设置检查点存储方法二:配置存储检查点到文件系统
checkpointConfig.setCheckpointStorage(new FileSystemCheckpointStorage("hdfs://namenode:40010/flink/checkpoints"));
// 最小间隔时间 500 毫秒,,检查点协调器(checkpoint coordinator)最快等多久可以出发保存下一个检查点的指令。
checkpointConfig.setMinPauseBetweenCheckpoints(500);
// 超时时间 1 分钟,用于指定检查点保存的超时时间,超时没完成就会被丢弃掉。传入一个长整型毫秒数作为参数,表示超时时间。
checkpointConfig.setCheckpointTimeout(60000);

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值