Flink实战案例（三十五）：状态管理（六）自定义操作符状态（一）list state

王知无(import_bigdata)

已于 2022-07-03 22:23:07 修改

阅读量1k

点赞数

分类专栏： Flink系统性学习专栏文章标签： flink 大数据 java

于 2021-01-21 13:30:19 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/112932874

版权

Flink系统性学习专栏同时被 2 个专栏收录

256 篇文章 102 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

大数据成神之路

254 篇文章 157 订阅

订阅专栏

本文深入探讨Flink的状态管理，重点讲解自定义操作符状态，包括Operator State的逻辑、使用场景和实例。通过Snapshot和Restore过程，阐述如何在Flink作业中确保数据一致性。文中以List State为例，展示了如何在Source或Sink算子中应用，实现Exactly-Once语义，并给出具体代码示例。

摘要由CSDN通过智能技术生成

状态从本质上来说，是Flink算子子任务的一种本地数据，为了保证数据可恢复性，使用Checkpoint机制来将状态数据持久化输出到存储空间上。

状态相关的主要逻辑有两项：

一、将算子子任务本地内存数据在Checkpoint时snapshot写入存储；

二、初始化或重启应用时，以一定的逻辑从存储中读出并变为算子子任务的本地内存数据。

Keyed State对这两项内容做了更完善的封装，开发者可以开箱即用。对于Operator State来说，每个算子子任务管理自己的Operator State，或者说每个算子子任务上的数据流共享同一个状态，可以访问和修改该状态。Flink的算子子任务上的数据在程序重启、横向伸缩等场景下不能保证百分百的一致性。换句话说，重启Flink应用后，某个数据流元素不一定会和上次一样，还能流入该算子子任务上。因此，我们需要根据自己的业务场景来设计snapshot和restore的逻辑。为了实现这两个步骤，Flink提供了最为基础的CheckpointedFunction接口类。

public interface CheckpointedFunction {

  // Checkpoint时会调用这个方法，我们要实现具体的snapshot逻辑，比如将哪些本地状态持久化
    void snapshotState(FunctionSnapshotContext context)