本文深入探讨Flink的状态管理，解释为何需要state以处理流数据的连续性和容错性。文章详细阐述了Keyed State、Operator State、托管与原始状态的区别，并通过实例展示了如何使用Keyed State与Operator State。同时，讨论了State TTL（存活时间）的配置与管理，包括过期state的清除策略。最后，介绍了Broadcast State的使用场景和注意事项，以及Queryable State的概念，帮助读者理解如何在Flink中实现状态的实时查询。
在基础篇中的 1.2 节中介绍了 Flink 是一款有状态的流处理框架。那么大家可能有点疑问，这个状态是什么意思？拿 Flink 最简单的 Word Count 程序来说，它需要不断的对 word 出现的个数进行结果统计，那么后一个结果就需要利用前一个的结果然后再做 +1 的操作，这样前一个计算就需要将 word 出现的次数 count 进行存着（这个 count 那么就是一个状态）然后后面才可以进行累加。
为什么需要 state？
对于流处理系统，数据是一条一条被处理的，如果没有对数据处理的进度进行记录，那么如果这个处理数据的 Job 因为机器问题或者其他问题而导致重启，那么它是不知道上一次处理数据是到哪个地方了，这样的情况下如果是批数据，倒是可以很好的解决（重新将这份固定的数据再执行一遍），但是流数据那就麻烦了，你根本不知道什么在 Job 挂的那个时刻数据消费到哪里了？那么你重启的话该从哪里开始重新消费呢？你可以有以下选择（因为你可能也不确定 Job 挂的具体时间）：
Job 挂的那个时间之前：如果是从 Job 挂之前开始重新消费的话，那么会导致部分数据（从新消费的时间点到之前 Job 挂的那个时间点之前的数据）重复消费
Job 挂的那个时间之后：如果是从 Job 挂之后开始
订阅专栏 解锁全文
1459
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
