大数据学习之Flink，10分钟带你初步了解Flink

目录

前摘

一、认识Flink的Logo​编辑

二、了解Flink的起源

三、了解Flink的发展

四、明白Flink的定位

五、Flink主要的应用场景

六、流式数据处理的发展和演变

1. 流处理和批处理

2. 传统事务处理

2.1传统事务处理架构​编辑

3. 有状态的流处理

4. Lambda 架构

5. 新一代流处理器

七、Flink的特性总结

1. Flink 的核心特性

2. 分层API

八、Flink VS Spark

1. 二者区别

1.1 数据处理架构

1. 2 数据模型和运行架构

2. Spark 还是 Flink

---

前摘

Flink 是 Apache 基金会旗下的一个开源大数据处理框架，如今已被很多人认为是大数据实时处理的方向和未来

一、认识Flink的Logo

二、了解Flink的起源

Flink 起源于一个叫作 Stratosphere 的项目，它是由 3 所地处柏林的大学和欧洲其他一些大 学共同进行的研究项目，由柏林工业大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2014 年 4 月，Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会，Flink 就是在此基础上被 重新设计出来的。

三、了解Flink的发展

2014 年 8 月，Flink 第一个版本 0.6 正式发布（至于 0.5 之前的版本，那就是在 Stratosphere 名下的了）。与此同时 Fink 的几位核心开发者创办了 Data Artisans 公司， 主要做 Fink 的商业应用，帮助企业部署大规模数据处理解决方案。

2014 年 12 月，Flink 项目完成了孵化，一跃成为 Apache 软件基金会的顶级项目。

2015 年 4 月，Flink 发布了里程碑式的重要版本 0.9.0，很多国内外大公司也正是从这 时开始关注、并参与到 Flink 社区建设的。

2019 年 1 月，长期对 Flink 投入研发的阿里巴巴，以 9000 万欧元的价格收购了 Data Artisans 公司；之后又将自己的内部版本 Blink 开源，继而与 8 月份发布的 Flink 1.9.0 版本进行了合并。自此之后，Flink 被越来越多的人所熟知，成为当前最火的新一代 大数据处理框架。

四、明白Flink的定位

Apache Flink 是一个框架和分布式处理引擎，如图所示，用于对 于无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。

五、Flink主要的应用场景

1. 电商和市场营销

   举例：实时数据报表、广告投放、实时推荐

   • 在电商行业中，网站点击量是统计 PV、UV 的重要来源，也是如今“流量经济”的最主要 数据指标。很多公司的营销策略，比如广告的投放，也是基于点击量来决定的。另外，在网站 上提供给用户的实时推荐，往往也是基于当前用户的点击行为做出的。我们需要的是直接处理 数据流，而 Flink 就可以做到这一点。

2. 物联网（IOT）

   举例：传感器实时数据采集和显示、实时报警，交通运输业

   • 物联网是流数据被普遍应用的领域。各种传感器不停获得测量数据，并将它们以流的形式 传输至数据中心。而数据中心会将数据处理分析之后，得到运行状态或者报警信息，实时地显 示在监控屏幕上。所以在物联网中，低延迟的数据传输和处理，以及准确的数据分析通常很关 键。

3. 物流配送和服务业

   举例：订单状态实时更新、通知信息推送

   • 在很多服务型应用中，都会涉及订单状态的更新和通知的推送。这些信息基于事件触发， 不均匀地连续不断生成，处理之后需要及时传递给用户。这也是非常典型的数据流的处理

4. 银行和金融业

   举例：实时结算和通知推送，实时检测异常行为

   • 银行和金融业是另一个典型的应用行业。在全球化经济中，能够提供 24 小时服务变得越 来越重要。现在交易和报表都会快速准确地生成，我们跨行转账也可以做到瞬间到账，还可以 接到实时的推送通知。这就需要我们能够实时处理数据流。

六、流式数据处理的发展和演变