大数据处理技术之flink初识

一.产生背景

实时流数据增多 : 互联网应用快速发展,实时流数据日益增多
价值更大: 实时流数据的处理和挖掘带来的价值比离线数据处理要多
大厂需求 : 各大互联网厂商需要一个能够快速响应和处理大规模实时流数据的技术
其他流处理引擎不能够满足需求 : storm/jstorm,sparkstreaming等
优秀的流处理引擎要求
低延时,高吞吐,容错性好,窗口时间语义化,编程效率高,运行效果好
storm/jstorm
优点
低延时
缺点
其他的都差一些
sparkstreaming
优点
高吞吐,容错性好
缺点
其他的都差一些

二.flink基本介绍

1.概念

Apache基金会开发的分布式的开源的流处理框架
scala和java编写
用于对有界和无界数据流进行有状态的计算
有界数据流:即实时数据流
无界数据流:即离线数据流,也称批处理数据

2.特点

适用所有常见的集群环境
内存计算,大规模处理
满足实时流处理引擎的全部需求
低延迟
高吞吐
容错性好
窗口时间语义化
编程效率高

3.应用场景

事件驱动型应用
数据分析型应用
数据管道ETL
要求严格的实时流处理场景

4.代码实现

实现方式
javaAPI
scalaAPI
数据处理过程抽象
将实时和离线数据处理的过程,均抽象成三个过程,及Source->Transform->Sink
Source 源数据读取
Transform 数据的转换
Sink 数据的落地
代码实现的复杂度
API丰富,支持SQL,复杂度不高

三.版本发展与介绍

flink0.6 初步得到团队认可,快速迭代发展 2014年
flink0.9-milestone 有重大进展,正式对外发布 2015年
flink0.9 阿里引入,并进行了优化改名blink 2015年
flink1.0 里程碑 2016年
flink1.9 目前市场占有率较高的版本 2019年
flink1.1 加入了很多特性,支持hadoop3.x版本
flink1.13.1 版本稳定

四.市场背景

现实情况
学习成高,开发人员少
flink主要是互联网大厂在使用
发展趋势
实时数据处理需求逐渐变大
flink对于实时数据的处理表现优异
得到了阿里的支持,发展前景极好