Flink简介

目录

 

1、概念

2、传统数据处理架构

3、流处理的演变

4、Flink 的主要特点

5、Flink 的其它特点

6、Flink vs Spark Streaming

---

1、概念

Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.

即：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。

Flink是有状态的流式处理，如图：

2、传统数据处理架构

（1）事务处理

优点：快速响应；

缺点：数据量大时，数据库压力大

（2）分析处理：将数据从业务数据库复制到数仓，再进行分析和查询

优点：适用大量数据；

缺点：只适合离线处理。

3、流处理的演变

（1）lambda 架构：用两套系统，同时保证低延迟和结果准确

（2）Flink具有低延迟、高吞吐性能，以及结果的准确性和良好的容错性

4、Flink 的主要特点

（1）事件驱动（Event-driven）

事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用。

与之不同的就是SparkStreaming微批次，

事件驱动型：

（2）流的世界观

批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。

流处理的特点是无界、实时,  无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。

在flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。

无界数据流：无界数据流有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性。

有界数据流：有界数据流有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。

在spark的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。

 

（3）分层api

越顶层越抽象，表达含义越简明，使用越方便；越底层越具体，表达能力越丰富，使用越灵活。

最底层级的抽象仅仅提供了有状态流，它将通过过程函数（Process Function）被嵌入到DataStream API中。底层过程函数（Process Function） 与 DataStream API 相集成，使其可以对某些特定的操作进行底层的抽象，它允许用户可以自由地处理来自一个或多个数据流的事件，并使用一致的容错的状态。除此之外，用户可以注册事件时间并处理时间回调，从而使程序可以处理复杂的计算。

5、Flink 的其它特点

（1）支持事件时间（event-time）和处理时间（processing-time）语义；

（2）精确一次（exactly-once）的状态一致性保证；

（3）低延迟，每秒处理数百万个事件，毫秒级延迟；

（4）高可用，动态扩展，实现7*24小时全天候运行；

（5）与众多常用存储系统的连接。

6、Flink vs Spark Streaming

（1）世界观不同

Flink是基于流的，无界的，实时的；而sparkStreaming是基于批的，准实时。

sparkStreaming微批（micro-batching）：

Flink流（stream）：

（2）数据模型

spark 采用 RDD 模型，spark streaming 的 DStream 实际上也就是一组组小批数据RDD的集合；

flink基本数据模型是数据流，以及事件（Event）序列。

（3）运行时架构

spark 是批计算，将 DAG 划分为不同的 stage，一个完成后才可以计算下一个；

flink 是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节点进行处理。