记一次flink不做checkpoint的问题

最新推荐文章于 2024-12-01 06:00:00 发布

优优我心

最新推荐文章于 2024-12-01 06:00:00 发布

阅读量1.8k

点赞数

分类专栏： Flink实战系列文章标签： flink

本文链接：https://blog.csdn.net/weixin_41608066/article/details/105500929

版权

本文记录了一次Flink在UI中未进行checkpoint的情况，问题源于source并行度超过Kafka分区数，部分subtask进入finished状态。检查代码和CheckpointCoordinator的triggerCheckpoint方法确认，只有ExecutionState.RUNNING的subtask才会触发checkpoint。解决方案是确保source并发度不大于Kafka的partition数，以避免性能损失。此问题在Flink 1.5版本及更高版本已修复。

摘要由CSDN通过智能技术生成

问题现象： Flink UI界面查看checkpoint的metrics发现一直没有做checkpoint，仔细排查发现有部分subtask的状态是finished。
下图是测试环境复现问题
在这里插入图片描述
问题原因： 仔细排查代码后发现source是消费kafka的数据，配置的并行度大于kafka的partition数，导致有部分subtask空闲，然后状态变为finished。后来查看了checkpoint过程的源码得以佐证。
在CheckpointCoordinator类的triggerCheckpoint方法中有如下代码段

// check if all tasks that we need to trigger are running.
		// if not, abort the checkpoint
		Execution[] executions = new Execution[tasksToTrigger.length];
		for (int i = 0; i < tasksToTrigger.length; i++) {
			Execution ee = tasksToTrigger[i].getCurrentExecutionAttempt();
			if (ee == null) {
				LOG.info("Checkpoint triggering task {} of job {} is not being executed at the moment. Aborting checkpoint.",
						tasksToTrigger[i].getTaskNameWithSubtaskIndex(),
						job