MengGong_的博客

转载 Flink结合Kafka实现端到端的一致性

数据写入Kafka后，Kafka会反馈数据写入成功的消息，有时会在这里出现超时情况，因为高峰期处理的数据量较大加上网络延迟等因素有可能会导致一批反馈消息的回传时间超过默认时间(30秒)，所以将默认超时时间调整为300秒，问题解决。经过一番排查，发现任务在做checkpoint的时候，时间比较久，导致checkpoint超时失败，所以调整了做checkpoint的时间间隔为20秒，每次checkpoint超时时间为900秒，问题解决。设置了checkpoint，执行时总出现失败，界面展示的数据卡住不动了。