flink运行原理_一、flink--架构、运行、调度原理

一、flink概述

1.1 流处理技术语义

At most once(最多一次)：每条数据记录最多被处理一次，潜台词也表明数据会有丢失(没被处理掉)的可能。

At least once(最少一次)：每条数据记录至少被处理一次。这个比上一点强的地方在于这里至少保证数据不会丢，至少被处理过，唯一不足之处在于数据可能会被重复处理。

Exactly once(恰好一次)：每条数据记录正好被处理一次。没有数据丢失，也没有重复的数据处理。这一点是3个语义里要求最高的。

1.2 flink是什么

​ Flink主页在其顶部展示了该项目的理念：“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink是一个框架和分布式处理引擎，用于对***和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。

1.3 flink基本框架

​ 批处理的特点是有界、持久、大量，批处理非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。流处理的特点是***、实时，流处理方式无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。

在Spark生态体系中，对于批处理和流处理采用了不同的技术框架，批处理由SparkSQL实现，流处理由Spark Streaming实现，这也是大部分框架采用的策略，使用独立的处理器实现批处理和流处理，而Flink可以同时实现批处理和流处理。

​ Flink是如何同时实现批处理与流处理的呢？答案是，Flink将批处理(即处理有限的静态数据)视作一种特殊的流处理。

​ Flink的核心计算架构是下图中的Flink Runtime执行引擎，它是一个分布式系统，能够接受数据流程序并在一台或多台机器上以容错方式执行。

​ Flink Runtime执行引擎可以作为YARN(Yet Another Resource Negotiator)的应用程序在集群上运行，也可以在Mesos集群上运行，还可以在单机上运行(这对于调试Flink应用程序来说非常有用)。

​ 图1.1 flink--基本架构

​ 上图为Flink技术栈的核心组成部分，值得一提的是，Flink分别提供了面向流式处理的接口(DataStream API)和面向批处理的接口(DataSet API)。因此，Flink既可以完成流处理，也可以完成批处理。Flink支持的拓展库涉及机器学习(FlinkML)、复杂事件处理(CEP)、以及图计算(Gelly)，还有分别针对流处理和批处理的Table API。

​ 能被Flink Runtime执行引擎接受的程序很强大，但是这样的程序有着冗长的代码，编写起来也很费力，基于这个原因，Flink提供了封装在Runtime执行引擎之上的API，以帮助用户方便地生成流式计算程序。Flink 提供了用于流处理的DataStream API和用于批处理的DataSet API。值得注意的是，尽管Flink Runtime执行引擎是基于流处理的，但是DataSet API先于DataStream API被开发出来，这是因为工业界对无限流处理的需求在Flink诞生之初并不大。

​ DataStream API可以流畅地分析无限数据流，并且可以用Java或者Scala来实现。开发人员需要基于一个叫DataStream的数据结构来开发，这个数据结构用于表示永不停止的分布式数据流。

​ Flink的分布式特点体现在它能够在成百上千台机器上运行，它将大型的计算任务分成许多小的部分，每个机器执行一部分。Flink能够自动地确保发生机器故障或者其他错误时计算能够持续进行，或者在修复bug或进行版本升级后有计划地再执行一次。这种能力使得开发人员不需要担心运行失败。Flink本质上使用容错性数据流，这使得开发人员可以分析持续生成且永远不结束的数据(即流处理)。

1.4 无穷数据流和有限数据流

无穷数据集：无穷的持续集合的数据集合

有限数据集：有限不会改变的数据集合

常见的无穷数据集合有：

用户与客户端的实时交互数据

应用实时产生的日志

金融市场的实时交易记录

1.5 Flink和storm对比

storm

flink

状态管理

无状态，需用户自行进行状态管理

有状态

窗口支持

对事件窗口支持较弱，缓存整个窗口的所有数据，窗口结束时一起计算

窗口支持较为完善，自带一些窗口聚合方法，并且会自动管理窗口状态。

消息投递语义

At Most Once At Least