flink 的 Barrier 数据结构

最新推荐文章于 2024-09-26 10:27:24 发布

goTsHgo

最新推荐文章于 2024-09-26 10:27:24 发布

阅读量885

点赞数 14

分类专栏： Flink 大数据分布式文章标签： flink 大数据分布式

本文链接：https://blog.csdn.net/goTsHgo/article/details/142488258

版权

分布式同时被 3 个专栏收录

52 篇文章 0 订阅

订阅专栏

大数据

49 篇文章 0 订阅

订阅专栏

Flink

19 篇文章 0 订阅

订阅专栏

在分布式流式处理系统中，Barrier 是用来实现一致性检查点（Checkpoint）的一个关键机制，特别是像 Apache Flink 这样的系统。Barrier 主要是用于标识数据流中的特殊点，在这些点上，系统会进行状态的快照，以便在故障发生时可以从快照恢复。

Barrier 本身是一个 轻量级的数据结构，它通常在数据流中作为一个特殊的事件存在，并在多个数据流分支中流动。Barrier 的数据格式和具体内容，尽管不同系统的实现可能略有不同，但通常包含以下几个关键字段：

Barrier 的典型数据格式

Barrier ID（或者称为 checkpointId）
- 这是 Barrier 的唯一标识符，用来标记这是哪一次检查点。
- Barrier ID 是单调递增的，每生成一次新的检查点，Barrier ID 就会增加。
- 这个 ID 会用于在流的多个分支中追踪和对齐。
```
long checkpointId; // 唯一标识符
```
Barrier 时间戳
- Barrier 也会附带一个时间戳，表示检查点生成的时间。这个时间戳通常是 Barrier 创建时的系统时间，用于记录检查点创建的时间。
- 这个时间戳可以帮助系统理解检查点是在何时触发的。
```
long timestamp; // 检查点生成的时间
```
Barrier 序号（Epoch/Sequence Number）
- 这个字段有时也叫 epoch 或者序号，用来表明 Barrier 的顺序。
- 在一些场景中，Barrier 的序号会与系统的处理进度相关，帮助区分系统不同阶段的数据流。
```
int epoch; // 序列号，用于同步多分支任务的状态
```
Barrier 标志位
- 一些 Barrier 可能携带附加的控制信息，如 flags 字段。这个字段可以用于指示 Barrier 是否携带一些特殊的标记，例如这是否是一个 最终的 Barrier（即系统即将停止或结束），或者这是一个 增量检查点（Incremental Checkpoint），只保存差异状态等。
```
int flags; // 标志位，携带额外的控制信息
```
Barrier 对齐信息
- Barrier 还可能包含 对齐信息，即它是否已经与其他流中的 Barrier 对齐完毕。这是由 BarrierHandler 来管理的，但有时也会记录在 Barrier 本身的结构中，以便于在复杂的分布式场景中进行同步。
```
boolean isAligned; // 是否已经完成对齐
```

Barrier 的流动格式

Barrier 在流式处理中以特殊事件的形式在数据流中传递。数据流中通常包含正常的数据记录（records），而 Barrier 则是一个特殊类型的事件。流式系统在处理这些事件时，会在合适的点上插入 Barrier，并确保每个并行处理子任务（Operator）都能接收到该 Barrier，以便完成状态快照和一致性维护。

示例：Barrier 在 Apache Flink 中的使用

在 Flink 中，Barrier 是用于 状态一致性检查点机制 的基础。在 Flink 的数据流管道中，Barrier 的数据格式大致如下：

public class CheckpointBarrier {
    private final long checkpointId;  // Barrier ID
    private final long timestamp;     // 时间戳
    private final CheckpointOptions checkpointOptions;  // 检查点的选项，比如是全量还是增量
}

在 Flink 中，CheckpointBarrier 包含的字段包括：