flink简介

flink初识

1、产生背景

随着互联网应用的快速发展，实时流数据产生日益增多和普遍化。如日常生活、金融、驾驶、LBS、电商等众多领域概模能外。
实时数据的处理和挖掘能够带来离线数据处理和挖掘更多的社会发展和商业价值。
如何快速响应和处理这些大规模的实时数据流，成为众多互联网大厂的当务之急。
在flink之前也出现了很多流数据处理引擎，包括storm、sparkstreaming等知名流行框架，但各自均有较明显的不足，导致没有达到理想的流处理引擎的标准要求

优秀流处理引擎标准要求

低延迟、高吞吐量、容错性、窗口时间语义化、编程效率高与运行效果好的用户体验等主要方面。

storm

优点：低延迟

缺点：其它要求都较差一些

sparkstreaming

优点：高吞吐量、容错性高

缺点：其它要求都较差一些

2、flink介绍

2.1）概念说明

由Apache软件基金会开发的开源流处理框架

其核心是用Java和Scala编写的框架和分布式处理引擎

用于对无界和有界数据流进行有状态计算。

无界数据流: 即为实时流数据

有界数据流：即为离线数据，也称为批处理数据

2.2）特点特征

被设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

能够达到实时流处理引擎的全部标准要求。

低延迟、高吞吐量、容错性、窗口时间语义化、编程效率高与运行效果好的用户体验等主要方面。

2.3）应用场景

官方说明

事件驱动型应用

数据分析型应用

数据管道 ETL

实际情况

要求严格的实时流处理场景

2.4）代码实现

实现方式

Java API

Scala API

统一数据处理过程抽象

将实时和批处理的数据过程，均抽象成三个过程，即Source->Transform->Sink。

Source为源数据读入，即Source算子。

Transform是数据转换处理过程，即Transform算子。

Sink即数据接收器，即数据落地到存储层，即Sink算子。

代码实现复杂度

丰富的API和算子操作，抽象封装统一性较高，支持类SQL编程，编程复杂度并不高。

3、版本发展

Flink版本在早期就得到阿里认可，并进行集团内部孵化和二次开发、商用实践，命名为Blink。

Blink的主要贡献是在用户体验上，包括SQL、webUI等方面。

在2019年进行了开源反馈给社区，从此更多的是以Flink merge Blink新功能后，以Flink为主继续推进开源。

4、市场前景

现实情况

学习成本较高、应用场景较垂直，其实际开发者在市场上是比较衡缺的。

相对于更广大的中小型公司，Flink的使用量最主要是集中在中大型互联网科技公司。

发展趋势

商业市场、各中大型IT企业对大规模实时数据场景需求旺盛。

Flink在实时数据处理方面的架构设计与商用实践表现较为突出。

得到阿里系的商业收购+大规模人力财力物力的支持，未来发展不可限量。