Flink介绍和基本概念（一）

概述

Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同， 流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分别给出两套实现方法，或者通过一个独立的开源框架来实现其中每一种处理方案。比较典型的有：实现批处理的开源方案有MapReduce、Spark；实现流处理的开源方案有Storm；Spark的Streaming 其实本质上也是微批处理。
　　Flink在实现流处理和批处理时，与传统的一些方案完全不同，它从另一个视角看待流处理和批处理，将二者统一起来：Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。

DataSet ：批次处理，适合处理离线数据

DataStream ：流式处理，适合处理实时数据

为什么选择Flink

• 流数据更真实的反应了我们的生活方式。
• 传统的数据架构是基于有限数据集。

实现目标：

低延迟、高吞吐、结果的准确性、良好的容错性。

处理无界和有界数据

任何类型的数据都是作为事件流产生的。信用卡交易、传感器测量、机器日志或用户在网站或移动应用程序上的交互，所有这些数据都是作为流生成的。

数据可以作为无界或有界流进行处理。

无界流有一个开始但没有定义的结束。它们不会在生成数据时终止并提供数据。无界流必须持续处理，即事件在被摄取后必须立即处理。无法等待所有输入数据到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常需要以特定顺序（例如事件发生的顺序）摄取事件，以便能够推断结果完整性。

有界流具有定义的开始和结束。可以通过在执行任何计算之前摄取所有数据来处理有界流。处理有界流不需要有序摄取，因为始终可以对有界数据集进行排序。有界流的处理也称为批处理。

• Apache Flink 擅长处理无界和有界数据集。对时间和状态的精确控制使 Flink 的运行时能够在无界流上运行任何类型的应用程序。有界流由专门为固定大小的数据集设计的算法和数据结构在内部进行处理，从而产生出色的性能。

Flink 主要特点：

1、事件驱动（Event-Drive）
2、基于流的世界观
在Flink 的世界观中，一切都是由流组成，离线数据是有界的流，实时数据是一个没有界限的流；这就所谓的有界流和无界流。
3、分层API
越顶层越抽象，表达含义越简明，使用越方便。
越顶层越具体，表达能力越丰富，使用越灵活。

Flink 的其他特点：

• 1、支持事件时间和处理时间语义
• 2、精确一次的状态一致性保证。
• 3、低延迟，每秒处理数百万个事件，毫秒级延迟。
• 4、与众多常用系统的链接。
• 5、高可用，动态扩展， 实现24 * 7 小时全天候运行。

Flink VS SprakStreaming：

数据模型：

• Spark 采用RDD 模型，SparkStreaming的DStream 实际上也就是一组小批数据RDD的集合
• Flink基本数据模型是数据模型，以及事件 （ Event）序列

运行时模型：

• Sprak 是 批计算，将DAG 划分为不同的stage，一个完成后，计算下一个。。
• Flink 是标准的流执行模式，一个事件在一个节点处理完毕后可以直接发往下一个节点进行处理。