Flink中task的failover机制

Flink中的failover分为task的failover和Master的failover。
我们先来看task的failover,它有多种策略:
1.Restart-all
重启所有的task,从上次的Checkpoint开始重新执行。
在这里插入图片描述
2.Restart-individual
只重启出错的task,只适用于task间无连接的情况,应用场景有限。
在这里插入图片描述
3.Restart-region
重启pipeline region。因为block边数据落盘,可以直接读取,逻辑上仅需重启通过pipeline边关联的task。
(block边:数据有落盘。pipeline边:数据不落盘)

  • 如果是作业自身执行失败,则只需重启和该task相关的位于block后面的task。
    在这里插入图片描述
  • 如果是作业读取上游数据失败,则需要将产出上游数据的所有task以及下游和该失败task相连接的所有task重启。
    在这里插入图片描述

再看Master的failover的恢复策略:

  • 多个Master通过ZK进行选举。
  • 目前要求所有task重启。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值