本文的Flink源码版本为: 1.15-SNAPSHOT,读者可自行从Github clone.
假如 Flink 任务某个算子的并行度为4,该算子的状态做了 checkpoint 后任务停止。该算子的并行度调整为2后重新启动任务,新 task 中的各个 subtask 需要从 checkpoint 中哪些旧的 subtask 中获取数据呢?
Flink 提供了 SubtaskStateMapper 枚举类来定义上述行为。
其核心方法为:
public abstract int[] getOldSubtasks(
int newSubtaskIndex, int oldNumberOfSubtasks, int newNumberOfSubtasks);
其中,newSubtaskIndex 为新 subtask 的索引,oldNumberOfSubtasks 为旧 subtask 的数量,newNumberOfSubtasks 为新 subtask 的数量,返回值为旧 subtask 索引的数组。
SubtaskStateMapper 提供了 ARBITRARY、ROUND_ROBIN、FIRST、FULL、RANGE、UNSUPPORTED 等6类实现。
ARBITRARY
ARBITRARY {
@Override
public int[] getOldSubtasks(
int newSubtaskIndex, int oldNumberOfSubtasks, int newNumberOfSubtasks) {
return ROUND_ROBIN.getOldSubtasks(
newSubtaskIndex, oldNumberOfSubtasks, newNumberOfSubtasks);
}
}