我们在学习 Flink 的时候，到底在学习什么？

我们在学习 Flink 的时候，到底在学习什么？
大数据与机器学习文摘 今天
以下文章来源于大数据技术与架构 ，作者大数据技术与架构

这是一篇指南和大纲性质的文章。
Flink经过2年左右的官方和社区的大规模推广，现在国内的一众大小企业基本都在使用。
我们在学习Flink的时候，到底重点学习哪些东西呢？
从个人的学习经历来看，在学习任何一个新出现的框架或者技术点的时候，核心方法就是：【先看背景，整理大纲，逐个击破】。
核心背景和论文
知其然且知其所以然。
Flink框架自提出到实现，是有深厚的理论作为背书的，其中又以《Lightweight Asynchronous Snapshots for Distributed Dataflows》最为核心，本文提出了一种轻量级的异步分布式快照(Asynchronous Barrier Snapshot, 简称ABS)方法，既支持无环图，又支持有环图，而且可以做到线性扩展。
传统的流式计算由算子节点和连接算子的数据管道组成，传统的分布式快照方案就像拍照片一样，把每个算子内的state状态和彼此相连管道中的数据都保存下来。ABS方案的提出对传统的流式计算引擎的设计方案可以说是颠覆性的。
另外一篇是《Apache FlinkTM: Stream and Batch Processing in a Single Engine》，严格来说这篇论文是一篇Flink的概要设计文档。可以当成一个技术文档来看，对于很多我们难以理解的设计都有很大的帮助。
此外，《The world beyond batch: streaming 101/102》是由Google的大神Tyler Akidau写的两篇文章。第1篇文章，在深入了解时间，对批处理和流式数据常见处理方式进行高阶阐述之前，介绍一些基本的背景知识和术语。第2篇文章主要介绍包括Google Dataflow大数据平台使用的统一批量+流式传输模式。这两篇文章对于我们理解Flink中的时间、窗口、触发器等等的实现有十分重要的指导意义。并且作者还在YouTube上传了动画，可谓用心良苦，各位各凭本事翻墙去找吧。
基础概念
如果你读过了上面的核心论文，那么你就会对Flink中一些概念的提出有更为深刻的理解，在Flink这个框架中，延用了很多之前Hadoop体系或者Spark中的设计概念。
这里面最核心的概念包括：
流(无界流、有界流)和转换

State和checkpoint

并行度

Workers,Slots,Resources

时间和窗口

…

此外还有一些例如：分布式缓存、重启策略等。当然在Flink SQL中还有一些特定的概念，例如：Window Aggregate、Non-window Aggregate、Group Aggregate、Append Stream等等。
上面这些核心概念是我们学习Flink框架的基础。
核心模块
我们直接把官网的图拿过来，这张图上基本就是Flink框架整体的设计思想和模块要拆分：
图片

那么对于我们数据开发来说，里面最核心的包分配我们看一下Github：
图片

我把其中核心的实现用红框圈出来了。
源码阅读
根据上面我们选择的核心模块，我们大概可以得知，整个Flink的核心实现包含了：
Flink 基本组件和逻辑计划：介绍了 Flink 的基本组件、集群构建的过程、以及客户端逻辑计划的生成过程

Flink 物理计划生成：介绍了 Flink JobManager 对逻辑计划的运行时抽象，运行时物理计划的生成和管理等

Jobmanager 基本组件和TaskManager的基本组件

Flink 算子的生命周期：介绍了 Flink 的算子从构建、生成、运行、及销毁的过程

Flink 网络栈：介绍了 Flink 网络层的抽象，包括中间结果抽象、输入输出管理、BackPressure 技术、Netty 连接等

Flink的水印和Checkpoint

Flink-scheduler：介绍 Flink 的任务调度算法及负载均衡

Flink对用户代码异常处理：介绍作业的代码异常后 Flink 的处理逻辑，从而更好的理解 Flink 是如何保证了 exactly-once 的计算语义

Flink Table/SQL 执行流程、Flink和Hive的集成等

行业应用
Flink的行业应用，我们在之前的文章中反复提及。主要的应用：
实时数据计算

如果你对大数据技术有所接触，那么下面的这些需求场景你应该并不陌生：
各大电商每年双十一都会直播，实时监控大屏是如何做到的？
公司想看一下大促中销量最好的商品 TOP5？
我是公司的运维，希望能实时接收到服务器的负载情况？
我们可以看到，数据计算场景需要从原始数据中提取有价值的信息和指标，比如上面提到的实时销售额、销量的 TOP5，以及服务器的负载情况等。
传统的分析方式通常是利用批查询，或将事件（生产上一般是消息）记录下来并基于此形成有限数据集（表）构建应用来完成。为了得到最新数据的计算结果，必须先将它们写入表中并重新执行 SQL 查询，然后将结果写入存储系统比如 MySQL 中，再生成报告。
Apache Flink 同时支持流式及批量分析应用，这就是我们所说的批流一体。Flink 在上述的需求场景中承担了数据的实时采集、实时计算和下游发送。
实时数据仓库和 ETL

ETL（Extract-Transform-Load）的目的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。
图片

传统的离线数据仓库将业务数据集中进行存储后，以固定的计算逻辑定时进行 ETL 和其他建模后产出报表等应用。离线数据仓库主要是构建 T+1 的离线数据，通过定时任务每天拉取增量数据，然后创建各个业务相关的主题维度数据，对外提供 T+1 的数据查询接口。
上图展示了离线数据仓库 ETL 和实时数据仓库的差异，可以看到离线数据仓库的计算和数据的实时性均较差。数据本身的价值随着时间的流逝会逐步减弱，因此数据发生后必须尽快的达到用户的手中，实时数仓的构建需求也应运而生。
实时数据仓库的建设是“数据智能 BI”必不可少的一环，也是大规模数据应用中必然面临的挑战。
Flink 在实时数仓和实时 ETL 中有天然的优势：
状态管理，实时数仓里面会进行很多的聚合计算，这些都需要对于状态进行访问和管理，Flink 支持强大的状态管理

丰富的 API，Flink 提供极为丰富的多层次 API，包括 Stream API、Table API 及 Flink SQL

生态完善，实时数仓的用途广泛，Flink 支持多种存储（HDFS、ES 等）

批流一体，Flink 已经在将流计算和批计算的 API 进行统一。

图片

事件驱动型应用

你是否有这样的需求：
我们公司有几万台服务器，希望能从服务器上报的消息中将 CPU、MEM、LOAD 信息分离出来做分析，然后触发自定义的规则进行报警？
我是公司的安全运维人员，希望能从每天的访问日志中识别爬虫程序，并且进行 IP 限制？
事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。
在传统架构中，我们需要读写远程事务型数据库，比如 MySQL。在事件驱动应用中数据和计算不会分离，应用只需访问本地（内存或磁盘）即可获取数据，所以具有更高的吞吐和更低的延迟。
图片

Flink 的以下特性完美的支持了事件驱动型应用：
高效的状态管理，Flink 自带的 State Backend 可以很好的存储中间状态信息

丰富的窗口支持，Flink 支持包含滚动窗口、滑动窗口及其他窗口

多种时间语义，Flink 支持 Event Time、Processing Time 和 Ingestion Time

不同级别的容错，Flink 支持 At Least Once 或 Exactly Once 容错级别

我们也看到了，Flink目前在各大公司的应用基本集中在以上3个方面。此外，未来的数据领域我们看到了一些例如：
Flink和IceBerg等框架结合打造未来的数据湖

图片

基于Flink的IOT解决方案图片

上述一些新兴的领域，Flink也会有一些应用。此外，如果你把Flink当成了算法执行引擎，那么FlinkML可能就是你研究的重点。

• EOF -

推荐阅读 点击标题可跳转
1、尝鲜！Flink1.12.2+Hudi0.9.0 集成开发

2、超级攻略！Pandas \ NumPy \ Matrix 用于金融数据准备

3、人人皆可二次元！小姐姐生成不同风格动漫形象，肤色、发型皆可变

看完本文有收获？请转发分享给更多人

关注「大数据与机器学习文摘」，成为Top 1%

图片

点赞和在看就是最大的支持❤️

阅读 200
写下你的留言
添加链接描述