Flink核心概念与编程模型

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：

Flink大数据项目实战：http://t.cn/ExrHPl9

1. Flink分层架构

1.1 Flink生态之核心组件栈

大家回顾一下Flink生态圈中的核心组件栈即可，前面已经详细讲过，这里就不再赘叙。

1.2 Flink分层架构

Flink一共分为四个层级，具体如下图所示：

 

Flink 最下面的一层API为Stateful Stream Processing，它是Flink最底层的API，控制更灵活但一般很少使用。然后上面一层就是Flink Core（核心）API，它包含DataStream和DataSet API，应用层的用户经常使用 Core API。然后再上面一层就是 Table API，它相当于在Core API中可以定义数据的Table结构，可以做table操作。最上面一层就是SQL 操作，用户可以直接使用SQL语句对数据处理，更简单更方便。

 

注意：越底层的API越灵活，但越复杂。越上层的API越轻便，但灵活性差。

1. Stateful Stream Processing

a）它位于最底层，是Core API 的底层实现。

b）它是嵌入到Stream流里面的处理函数（processFunction）。

c）当Core API满足不了用户需求，可以利用低阶API构建一些新的组件或者算子。

d）它虽然灵活性高，但开发比较复杂，需要具备一定的编码能力。

1. Core API

1. DataSet API 是批处理API，处理有限的数据集。
2. DataStream API是流处理API，处理无限的数据集。

1. Table API & SQL

a）SQL 构建在Table 之上，都需要构建Table 环境。

b）不同的类型的Table 构建不同的Table 环境中。

c）Table 可以与DataStream或者DataSet进行相互转换。

d）Streaming SQL不同于存储的SQL，最终会转化为流式执行计划。

1.3Flink DataFlow

Flink DataFlow基本套路：先创建Data Source读取数据，然后对数据进行转化操作，然后创建DataSink对数据输出。

 

结合代码和示意图理解DataFlow

Flink DataFlow 基本套路如下所示：

步骤1：构建计算环境(决定采用哪种计算执行方式)

 

步骤2：创建Source(可以多个数据源)

 

步骤3：对数据进行不同方式的转换(提供了丰富的算子)

 

步骤4：对结果的数据进行Sink(可以输出到多个地方)

 

并行化DataFlow

从上图可以看出Source的并行度为2，它们可以并行运行在不同的节点上。Map的并行度也为2，source读取数据后做Stream Partition操作，source1将数据交给map1，source2将数据交给map2。keyBy（或者window等）的并行度为2，map处理后的数据需要经过shuffle操作，然后交给keyBy进行分组统计。Sink的并行度为1，keyBy最后分组统计后的数据交给sink，将数据进行输出操作。

算子间数据传递模式

从上图可以看出，Flink算子间的数据传递模式大概分为两种：

1.One-to-one streams：保持元素的分区和顺序，比如数据做map操作。

2.Redistributing streams： 它会改变流的分区，重新分区策略取决于使用的算子

keyBy() (re-partitions by hashing the key) ：根据hash key对数据重新分区。

broadcast()：即为广播操作，比如map1有100条数据，发送给keyBy1是100条数据，发给keyBy2也是100条数据。

rebalance() (which re-partitions randomly)：即随机打散，数据随机分区发送给下游操作。

2. Windows

前面我们已经了解了Flink的Stream流处理和Batch批处理，那么我们这里讲的Windows操作是对一段数据进行操作，它可以按照固定数据量进行Windows操作，也可以按照固定时间进行windows操作，它是Stream 流处理所特有的窗口操作。

 

Flink Windows操作的类型大概分为以下几类：

1. Count Windows

顾名思义，是按照Events的数量进行操作，比如每3个Event做一次windows操作。

1. Time Windows

基于时间长度进行Windows操作

1. Tumbling Windows：即翻滚窗口，不会重叠，比如每隔3s操作一次。
2. Sliding Windows：即滑动窗口，有重叠，比如窗口大小为3s，每次向前滑动1s。
3. Session Windows：类似于Web编程里的Session，以不活动间隙作为窗口进行操作，比如每10s内没有活动，就会做一次Windows操作。

1. 自定义Windows

当Flink内置的windows不能满足用户的需求，我们可以自定义Windows操作。

3.各种Time

从上图可以看出Flink 中的Time大致分为以下三类：

1.Event Time：Event 真正产生的时间，我们称之为Event Time。

 

2.Ingestion Time：Event 事件被Source拿到，进入Flink处理引擎的时间，我们称之为Ingestion Time。

 

3.Window Processing Time：Event事件被Flink 处理（比如做windows操作）时的时间，我们称之为Window Processing Time。

 

 

1. Stateful Operations

什么是状态？

state一般指一个具体的task/operator的状态，比如当前处理那些数据，数据处理的进度等等。

 

Flink state操作状态分为两类：

1.Operator State

Operator State跟一个特定operator的一个并发实例绑定，整个operator只对应一个state。

 

2.Keyed State

基于KeyedStream上的状态。这个状态是跟特定的key绑定的，对KeyedStream流上的每一个key，可能都对应一个state。

 

Flink 每个操作状态又分为两类：

Keyed State和Operator State可以以两种形式存在：原始状态和托管状态（ Flink框架管理的状态）。

1.原始状态：比如一个字符串或者数组，它需要序列化，保存到内存或磁盘，或者外部存储中，这就是它的原始状态。

2.托管状态：比如数据放在Hash表中，或者放在HDFS中，或者放在rocksdb中，这种就是托管状态。当需要处理数据的时候，从托管状态中读取出来，还原成原始状态，甚至变量和集合，然后再进行处理。

5.Checkpoints(备份)

 

什么是checkpoint？

所谓checkpoint，就是在某一时刻，将所有task的状态做一个快照(snapshot)，然后存储到State Backend（比如hdfs）。checkpoint拥有轻量级容错机制，可以保证exactly-once 语义，用于内部失败的恢复(比如当应用挂了，它可以自动恢复从上次的进度接着执行)。

 

checkpoint基本原理：通过往source 注入barrier（可以理解为特殊的Event），barrier作为checkpoint的标志，它会自动做checkpoint无需人工干预。

6.Savepoint

savepoint是流处理过程中的状态历史版本，它具有可以replay的功能。用于外部恢复，当Flink应用重启和升级，它会做一个先做一个savepoint，下次应用启动可以接着上次进度执行。

 

savepoint两种触发方式：

1.Cancel with savepoint

2.手动主动触发

savepoint可以理解为是一种特殊的checkpoint，savepoint就是指向checkpoint的一个指针，需要手动触发，而且不会过期，不会被覆盖，除非手动删除。正常情况下的线上环境是不需要设置savepoint的。除非对job或集群做出重大改动的时候，需要进行测试运行。