大数据学习之Flink、10分钟了解Flink的核心组件以及它们的工作原理

 第一章、Flink的容错机制

第二章、Flink核心组件和工作原理

第三章、Flink的恢复策略

第四章、Flink容错机制的注意事项

第五章、Flink的容错机制与其他框架的容错机制相比较

---

目录

第二章、Flink核心组件和工作原理

Ⅰ、核心组件

1. Checkpoint组件：

2. Savepoint组件：

3. Barrier组件

4. State Backend组件

5. Recovery Strategy组件

6.‌Failover Strategy组件

7.‌Job Restart Strategy组件

Ⅱ、核心组件的工作原理

1. Checkpoint工作原理：

2. Savepoint工作原理：

---

第二章、Flink核心组件和工作原理

Ⅰ、核心组件

• Flink的容错机制的核心组件包括Checkpoint和Savepoint。等等.. .. ..

1. Checkpoint组件：

一致性检查点

• Checkpoint是用于容错和恢复的机制

• Checkpoint 是 Flink实现容错机制最核心的功能组件，也是Flink四大基石之一，它在数据流处理过程中定期捕获作业状态的快照，并将其存储在可靠的存储系统中。

• 当作业发生故障时，Flink 可以从最近的 Checkpoint 恢复，重新处理数据流，以保证数据的完整性和一致性。Checkpoint 的频率和大小可以通过配置参数进行设置。

2. Savepoint组件：

‌保存点

• Savepoint则是用备份机制，于手动恢复的点。

• Savepoint是Flink提供的一种备份机制，用于将作业的状态保存到一个指定的位置。

• 与 Checkpoint 不同，Savepoint 不是为了容错而设计的，而是为了在升级作业或修改作业时能够恢复到之前的状态。通过创建一个 Savepoint，用户可以确保在升级或修改作业后能够回滚到之前的状态，而不会丢失数据或影响数据处理的正确性。

3. Barrier组件

‌分界线

• 在检查点过程中，Flink使用分界线来确保到达某个检查点之前的