PyFlink 教程（三）：PyFlink DataStream API - state & timer

简介： 介绍如何在 Python DataStream API 中使用 state & timer 功能。

一、背景

Flink 1.13 已于近期正式发布，超过 200 名贡献者参与了 Flink 1.13 的开发，提交了超过 1000 个 commits，完成了若干重要功能。其中，PyFlink 模块在该版本中也新增了若干重要功能，比如支持了 state、自定义 window、row-based operation 等。随着这些功能的引入，PyFlink 功能已经日趋完善，用户可以使用 Python 语言完成绝大多数类型Flink作业的开发。接下来，我们详细介绍如何在 Python DataStream API 中使用 state & timer 功能。

二、state 功能介绍

作为流计算引擎，state 是 Flink 中最核心的功能之一。

• 在 1.12 中，Python DataStream API 尚不支持 state，用户使用 Python DataStream API 只能实现一些简单的、不需要使用 state 的应用；
• 而在 1.13 中，Python DataStream API 支持了此项重要功能。

state 使用示例

如下是一个简单的示例，说明如何在 Python DataStream API 作业中使用 state：

from pyflink.common import WatermarkStrategy, Row
from pyflink.common.typeinfo import Types
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.connectors import NumberSequenceSource
from pyflink.datastream.functions import RuntimeContext, MapFunction
from pyflink.datastream.state import ValueStateDescriptor


class MyMapFunction(MapFunction):

    def open(self, runtime_context: RuntimeContext):
        state_desc = ValueStateDescriptor('cnt', Types.LONG())
        # 定义value state
        self.cnt_state = runtime_context.get_state(state_desc)

    def map(self, value):
        cnt = self.cnt_state.value()
        if cnt is None:
            cnt = 0

        new_cnt = cnt + 1
        self.cnt_state.update(new_cnt)
        return value[0], new_cnt


def state_access_demo():
    # 1. 创建 StreamExecutionEnvironment
    env = StreamExecutionEnvironment.get_execution_environment()

    # 2. 创建数据源
    seq_num_source = NumberSequenceSource(1, 100)
    ds = env.from_source(
        source=seq_num_source,
        watermark_strategy=WatermarkStrategy.for_monotonous_timestamps(),
        source_name='seq_num_source',
        type_info=Types.LONG())

    # 3. 定义执行逻辑
    ds = ds.map(lambda a: Row(a % 4, 1), output_type=Types.ROW([Types.LONG(), Types.LONG()])) \
           .key_by(lambda a: a[0]) \
           .map(MyMapFunction(), output_type=Types.TUPLE([Types.LONG(), Types.LONG()]))

    # 4. 将打印结果数据
    ds.print()

    # 5. 执行作业
    env.execute()


if __name__ == '__main__':
    state_access_demo()

在上面的例子中，我们定义了一个 MapFunction，该 MapFunction 中定义了一个名字为 “cnt_state” 的 ValueState，用于记录每一个 key 出现的次数。

说明：

• 除了 ValueState 之外，Python DataStream API 还支持 ListState、Ma