流/批/OLAP一体的Flink引擎

1.Flink概述

1.1为什么需要流式计算

大数据的实时性带来的价值更大，比如：

1、监控场景：实时发现业务系统的健康状态，提前避免业务障碍

2、金融风控：实时监测出异常交易行为，及时阻断风险产生

3、实时推荐：应用根据用户的行为数据发掘用户的兴趣、偏好，向用户推荐更感兴趣的内容 ...

大数据实时性的需求，带来了大数据计算架构模式的变化

批式计算(以前)： 离线计算(非实时)， 静态数据集， 小时/天等周期性计算

流式计算(现在)： 实时计算，快速、低延迟， 无限流、动态、无边界， 7*24h持续运行， 流批一体

1.2为什么Apache Flink会脱颖而出

(1)流式计算引擎发展历程 如果从Google对外发布MapReduce论文算起，已经前后跨越将近二十年，业内常用的计算框架演化历史 (红框是流式计算框架)

（2）流式计算引擎对比

(3)Flink官方介绍

Apache Flink是一个可以基于无界和有界数据集之上有状态计算的框架和分布式处理引擎

关于Flink：Exactly-Once(精确一次的计算语义)、状态容错(Checkpoint)、Dataflow(Window等高阶需求支持友好)、流批一体

1.3Flink开源生态

 

2.Flink整体架构

2.1Flink分层架构

 

1、SDK层：分三类：SQL/Table、DataStream、Python;

2、执行引擎层(Runtime层)：执行引擎层提供了统一的DAG,用来描述数据处理的Pipeline,不管是流还是批，都会转化为DAG图，调度层再把