【Flink】Watermark 在 Flink SQL 中的用法

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏：
⭐️ 全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.
⭐️ AIGC时代的创新与未来：详细讲解AIGC的概念、核心技术、应用领域等内容。
⭐️ 大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。
⭐️《遇见Python：初识、了解与热恋》 ：涵盖了Python学习的基础知识、进阶技巧和实际应用案例，帮助读者从零开始逐步掌握Python的各个方面，并最终能够进行项目开发和解决实际问题。
⭐️《MySQL全面指南：从基础到精通》通过丰富的实例和实践经验分享，带领你从数据库的基本操作入手，逐步迈向复杂的应用场景，最终成为数据库领域的专家。
⭐️ 数据治理：通过通俗易懂的文章，学者们不仅能理解数据治理的重要性，还能掌握数据治理的基本原则和最佳实践。

在 Flink SQL 中，Watermark 的使用稍有不同。你可以通过在定义表的 DDL（Data Definition Language）中指定 Watermark 来处理乱序数据。在 Flink SQL 中，Watermark 是与事件时间字段相关联的，它用于告诉 Flink 处理乱序数据的策略。

1. 定义 Watermark 在 Flink SQL 中的基础语法

在 Flink SQL 中，定义 Watermark 的方式是在创建表时，使用 WATERMARK FOR 语句。它通常跟在事件时间列的定义后面，指定如何从事件时间生成 Watermark。语法如下：

CREATE TABLE your_table (
    column1 TYPE,
    event_time_column TIMESTAMP(3),
    WATERMARK FOR event_time_column AS watermark_strategy_expression
) WITH (
    'connector' = '...',  -- 例如 'kafka'
    'topic' = 'your_topic',
    ...
);

在这里：

• event_time_column 是事件时间列。
• watermark_strategy_expression 是 Watermark 生成策略的表达式。

2. Watermark 策略

2.1 固定延迟的 Watermark

最常用的 Watermark 策略是固定延迟策略。你可以通过指定事件时间减去一定的延迟（例如 5 秒）来生成 Watermark。

WATERMARK FOR event_time_column AS event_time_column - INTERVAL '5' SECOND

2.2 自定义 Watermark 生成策略

你也可以定义更复杂的 Watermark 生成策略，例如基于业务逻辑生成 Watermark。下面是一个自定义的例子，延迟 10 分钟的 Watermark：

CREATE TABLE orders (
    order_id STRING,
    user_id STRING,
    amount DOUBLE,
    order_time TIMESTAMP(3),
    WATERMARK FOR order_time AS order_time - INTERVAL '10' MINUTE
) WITH (
    'connector' = 'kafka',
    'topic' = 'orders_topic',
    'properties.bootstrap.servers' = 'localhost:9092',
    'format' = 'json'
);

在上面的例子中，WATERMARK FOR order_time AS order_time - INTERVAL '10' MINUTE 指定了 Watermark 的生成策略：假设事件时间延迟最多 10 分钟到达。

---

3. 使用 Watermark 的实际 SQL 查询

一旦表定义了 Watermark，后续的 SQL 查询可以基于 Watermark 执行窗口聚合、时间窗口等操作。下面是一个使用 Watermark 的示例查询，计算每 1 分钟的订单金额总和：

SELECT 
  TUMBLE_START(order_time, INTERVAL '1' MINUTE) AS window_start,
  TUMBLE_END(order_time, INTERVAL '1' MINUTE) AS window_end,
  SUM(amount) AS total_amount
FROM orders
GROUP BY TUMBLE(order_time, INTERVAL '1' MINUTE);

在这个查询中，TUMBLE(order_time, INTERVAL '1' MINUTE) 基于 Watermark 处理 1 分钟时间窗口内的订单数据。

---

4. 常见 Watermark 策略

• Bounded Out-of-Orderness (有界乱序)：允许事件数据乱序一定时间到达。

  WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
  

• Monotonous (单调递增)：假设事件时间是单调递增的，不允许乱序。

  WATERMARK FOR event_time AS event_time
  

---

5. 示例案例：处理传感器数据

假设我们有一个传感器数据流，每个传感器定期发送温度数据，数据的时间戳可能会有一些延迟。我们使用 Watermark 来应对延迟数据，并统计每 10 秒内的平均温度。

表定义：

CREATE TABLE sensor_data (
    sensor_id STRING,
    temperature DOUBLE,
    ts TIMESTAMP(3),
    WATERMARK FOR ts AS ts - INTERVAL '5' SECOND
) WITH (
    'connector' = 'kafka',
    'topic' = 'sensor_topic',
    'properties.bootstrap.servers' = 'localhost:9092',
    'format' = 'json'
);

查询：

SELECT
    TUMBLE_START(ts, INTERVAL '10' SECOND) AS window_start,
    TUMBLE_END(ts, INTERVAL '10' SECOND) AS window_end,
    AVG(temperature) AS avg_temperature
FROM sensor_data
GROUP BY TUMBLE(ts, INTERVAL '10' SECOND);

在这个例子中，WATERMARK FOR ts AS ts - INTERVAL '5' SECOND 表示允许数据最多延迟 5 秒到达，并在每 10 秒的时间窗口内计算平均温度。

---

6. 结论

Flink SQL 中的 Watermark 机制简化了对无序数据的处理。通过定义 Watermark，Flink 可以基于事件时间准确地处理乱序数据，确保数据分析结果的准确性。Watermark 的灵活性允许你根据不同场景定制延迟策略，适应现实数据流的复杂性。

---

💗💗💗💗💗💗💗💗💗💗💗💗

💗💗💗💗💗💗💗💗💗💗💗💗