实时计算 Flink 与你相约阿里云

摘要：
如何使用实时计算 Flink 搞定实时数据处理难题？本文由阿里巴巴高级技术专家邓小勇老师分享，从实时计算的历史回顾着手，详细介绍了阿里云实时计算 Flink 的核心优势与应用场景，文章内容主要分为以下四部分：

• 历史回眸
• 选择理由
• 产品介绍
• 未来可期

众所周知，阿里云的 Slogan 是“计算是为了无法计算的价值”。计算的实体是数据，但是随着时间的推移，数据的价值其实是逐渐递减的。如何从数据产生开始，尽早地发掘它的最大价值，成为实时计算不懈追求的目标。

随着技术的发展， Flink 已经成为实时计算的工业标准，越来越多的公司正在使用 Flink 作为自己实时计算的工具。在实时计算领域，阿里云也在不断地探索，并推出了实时计算 Flink 的产品。

本篇内容将通过四个方面，围绕云上实时计算 Flink 向大家展开介绍。

一、 实时计算的历史回顾

（一）实时计算发展时间轴

2013年

阿里内部已经上线了一些实时计算的典型场景，比如搜索引擎实时增量索引等等。

2015年

阿里建设了一个实时计算平台并在内部上线，并承接了当年双11 GMV大屏等关键业务。这些业务的开展，开启了实时计算 Flink 在阿里巴巴的发展。

2016年7月

实时计算1.0版本公测。采用Galaxy（基于Storm引擎开发），打响了实时计算上云的第一枪，比业界其他产品都要早。

2017年10月

阿里基于 Blink 引擎的实时计算2.0版本上线并公测。该版本是基于大集群的全托管，只能运行SQL。当时用户的环境需要VPC，在这种大集群的情况下，要跟不同用户的VPC打通是一个比较大的问题。同时，由于是大集群，无法做到很好的隔离，也就意味着对SQL里面的UDF以及DataStream这些用户自定义逻辑互不影响得运行，所以只能推出纯SQL的作业模式。

2018年10月

实时计算2.0独享模式商业化。独享模式是指每个用户拥有独立的小集群，每个小集群跟用户的VPC通过 ENI无缝连接。在这种情况下，既做到了跟用户 VPC内上下游的连接，同时又能做好的物理隔离，解决了大集群很多功能限制的问题。

2019年的9月

实时计算基于 Flink 3.0半托管模式公测。由于一些大用户，需要对整个运行环境需要有比较好的掌控，于是我们推出了基于VVP（Ververica Platform）的实时计算半托管模式，即实时计算3.0半托管版本。这个版本是基于中德合作共建的一站式平台VVP，主要支持Yan和K8S两大主流的调度引擎。用户可以登录K8S或者Yan，去操作和管控自己的任务，同时也能享受到VVP提供的一些增值服务。

2020年5月

实时计算3.0全托管模式公测。相对于2.0版本，阿里推出了