Flink 内核原理与实现-入门

一、核心特点

1.1、流批一体

1、无界数据

        无界数据是持续产生的数据，所以必须持续的处理无界数据流。因为输入是无限的，没有终止时间。处理无界数据通常要求以特定顺序获取，以便判断事件是否完整、有无遗漏。

2、有界数据

        有界数据就是在一个确定的时间范围内的数据流，有开始有结束，一旦确定了就不会再改变。

1.2、可靠的容错能力

1、集群级容错

• 与集群管理器集成

        Flink与集群管理器紧密集成，例如Yarn、K8s。当进程挂掉时，将自动启动一个新进程来接管它工作。

• 高可用性设置

        Flink具有高可用性模式特性，可消除所有单点故障。HA模式基于Apache Zookeeper。

2、应用级容错

    Flink使用轻量级分布式快照机制，设计了检查点(CheckPoint)来实现可靠的容错。

• 一致性

        Flink的恢复机基于应用程序状态的一致性检查点。如果发生故障，将重新启动应用程序并从最新的检查点加载其状态。Flink利用检查点特性，在框架层面提供了Exactly-Once的支持，内置了支持Exactly-Once语义的Sink,即使出现故障，也能保证数据只写出一次。

• 轻量级

        对于长期运行的Flink，其检查点的状态可能高达TB级，生成和保存检查应用程序的检查点成本非常高。所以Flink提供了检查点的执行异步和增量检查点，以便尽量降低生成和保存检查点带来的计算负荷，避免数据处理的延迟异常变大和吞吐量的短暂剧降。

1.3、高吞吐、低延迟

        Flink借助轻量级分布式快照机制，能定时生成分布式快照，并保存到外部存储中。检查点之间的数据处理被当做是原子的。如果失败，直接回到上一个检查点重新执行。在整个数据处理过程中不会产生阻塞。Flink在数据的计算、传输、序列化等方面也做了大量的优化，既能保持数据处理的低延迟，也能尽可能提高吞吐量。

1.4、大规模复杂计算

• 有状态计算
• 轻量级容错

1.5、多平台部署

        Flink是一个分布式计算系统，可以与常见的集群管理器（如Hadoop Yarn、K8s）集成，也可以在物理服务器上作为独立集群运行。

二、架构

2.1、技术架构

Flink技术架构图如下：

 对于开发者而言，直接使用API层和应用框架层，两者的差别在于API的层次不同，API层是Flink对外提供的核心API，应用框架层是在核心API之上提供的面向特定计算场景、更加易用的API。

• 应用框架层

        指根据API层的划分，在API层之上构建的满足特定应用场景的计算框架，总体上分为流计算（Flink Table&SQL、FlinkCEP）和批处理（Flink Table&SQL、FlinkML、FlinkGelly）两类应用框架。

• API层

        API层是Flink对外提供能力的接口，实现了面向流计算的DataStream Api和面向批次处理的DataSetApi。为了推进流批API的统一，DataSet API未来会被废弃。

• 运行时层
  • DAG抽象：将分布式计算作业拆成并行子任务，每个子任务表示数据处理的一个步骤，并在上下游之间建立数据流的流通关系。
  • 数据处理：包含了开发层面、运行层面的数据处理抽象。如 Join、Filter等。
  • 作业调度：调度流批作业的执行。
  • 容错：提供了集群级、应用级容错处理机制，保障集群、作业的可靠运行。
  • 内存管理、数据序列化：通过序列化，使用二进制方式在内存中存储数据，避免JVM的垃圾回收带来的停顿问题。
  • 数据交换：数据在计算任务之间的本地、跨网络传递。
• 部署层

        Flink提供了灵活的部署模式，如 Strandalone、Yarn、Mesos、K8s、云服务

• 连接器

        Connector是Flink计算引擎与外部存储交互的IO抽象，是Source和Sink的具体实现。

2.2、运行架构

      Flink运行架构图如下：

        

 Flink采用Master-Slave架构，Master的角色是JobManager,负责集群和作业管理，Slave的角色是TaskManager，负责执行计算任务。

• Flink客户端：是Flink提供的CLI命令行工具，用来提交Flink作业到Flink集群，在客户端中负责Stream Graph（流图）和Job Graph（作业图）的构建。
• JobManager：根据并行度将Flink客户端提交的Flink应用分解为子任务，从资源管理器申请所需要的的计算资源，资源具备后，开始分发任务到TaskManager执行Task,并负责应用容错，跟踪作业的执行状态，发现异常则恢复作业等。
• TaskManager：接收JobManager分发的子任务，根据自身的资源情况，管理子任务的启动、停止、销毁、异常恢复等生命周期阶段。

接下来Flink应用篇，如果对Flink感兴趣或者正在使用的小伙伴，可以加我入群一起探讨学习。

参考书籍《Flink 内核原理与实现》