Flink(Standalone)在运行过程中节点突然挂掉

Flink(Standalone)在运行过程中节点突然挂掉

Flink运行当中突然发现TaskManager全部挂掉，Slots数量为0。当重启TaskManager后，再次出现节点依次挂掉。

在查看日志和排查的时候发现Kafka中存在引起程序异常的数据，由于重启策略会导致程序不断地重启。

搜索相关资料的时候并未有因为程序重启导致Flink节点挂掉的情况，于是做了一个测试，将重启间隔设置为10s，程序启动便手动抛出异常。程序执行十多分钟后，发现集群中一个TaskManager已经挂掉，任务在另一个TaskManager上重启继续运行，不久后第二个也挂掉。

由此，确认，当任务的重启策略配置不当时可能会导致Flink集群的TaskManager挂掉。

为确认是重启频率还是重启次数造成的TaskManager挂掉，目前在测试将重启间隔改为3m，稍后观察到结果后进行博客更新。

将重启间隔改为3分钟后，测试发现Flink依旧挂掉了，推测，Flink可能并不支持大量的重启。

下面是我的重启策略：

env.setRestartStrategy(RestartStrategies.failureRateRestart(2500,
org.apache.flink.api.common.time.Time.of(10, TimeUnit.DAYS),
org.apache.flink.api.common.time.Time.of(3,TimeUnit.MINUTES)));