超级会员免费看
本文探讨了在Flink中，当用户取消任务时，为何检查点未从外部存储中删除的问题。原来是由于默认配置'取消时删除'仅移除_metadata文件，而非全部数据。同时，分析了用户配置如何影响Flink的检查点清理行为，并指出无论配置与否，ExternalizedCheckpointCleanup都将设置到StreamExecutionEnvironment的checkpointCfg中。
去关注这块的原因是，有一次公司的某个用户任务，在cancel任务后，竟然没有列出外部存储上的检查点。
以为是平台代码的原因，查了很久也没问题。
后来发现根本原因是用户用了默认设置：取消时删除。
但也有Flink自身的原因，就是Flink取消任务删除检查点时没删干净：Flink就只删除“_metadata”文件，可不删除真实数据哦，这样平台没列出来是正确的，而用户认为远程存储上游checkpoint的路径，就应该列出来。
接下来说说，用户的配置是如何影响Flink删除或者不删除检查点，为什么只删除metadata文件。
用户配置
用户配置或不配置，不配置的话，默认是取消时删除，即
订阅专栏 解锁全文
745
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
