flink介绍

一、基于Flink  spark和storm的对比

storm、spark streaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。

Apache Storm

在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。由spout发射出的tuple是不可变数组，对应着固定的键值对。
 

Apache Spark

Spark Streaming是核心Spark API的一个扩展，它并不会像Storm那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。Spark针对持续性数据流的抽象称为DStream（DiscretizedStream），一个DStream是一个微批处理（micro-batching）的RDD（弹性分布式数据集）；而RDD则是一种分布式数据集，能够以两种方式并行运作，分别是任意函数和滑动窗口数据的转换。

 

Apache Flink

Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理，这也是其最大的特点。Flink 可以支持本地的快速迭代，以及一些环形的迭代任务。并且 Flink 可以定制化内存管理。在这点，如果要对比 Flink 和 Spark 的话，Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink，更容易出现 OOM 的原因（out of memory）。就框架本身与应用场景来说，Flink 更相似与 Storm。
二、Flink的核心概念

1、Stream:流，分为有界流和无界流

2、State:所谓的状态就是值在进行流式计算过程中的信息，一般用作容错恢复和持久化，流式计算本质是增量计算，所以需要不断的查询过去的状态，状态在flink中有着十分重要的作用

例如：确保Exactly-once语义将数据不断的写入状态中、还有集群出现fail-over的情况，自动重启等……

3、Flink自身提供不同级别的抽象来支持我们开发流式或者批处理程序，由上而下可分为SQL/Table API、DataSteam API、ProcessFunction三层，开发者可以根据不同的API进行开发

 

三、Apache Flink基于数据流的有状态计算

1、

 

2、流场景使用案列

• 数据驱动的应用
• 批数据分析
• 数据通道和ETL

3、正确性保证

• Exactly-once 状态一致性保证
• 事件时间处理
• 复杂的late date处理

4、API分层体系

• 统一的sql支持和stream和Batch数据处理
• DataStream API&DATASET api
• ProcessFunction (time &state)

5、operational Focus(操作重点）

• 部署灵活
• 高可用配置
• Savepoints

6、高性能

• 低延迟
• 高吞吐
• 内存计算