阿里超大规模 Flink 集群运维体系介绍

主要内容包括：

1. 演进历史和运维挑战

2. 集群运维 Flink Cluster

3. 应用运维 Flink Job

一、演进历史和运维挑战

阿里的实时计算经历了近 10 年的快速发展，总体来说可以分成三大时代：

• 1.0 时代：2013 年到 2017 年，三大实时计算引擎并存。大家熟悉的 Jstorm 和 Blink 当时都还叫做流式计算。

• 2.0 时代：2017 年集团合并了三大实时计算引擎，Blink 凭借着出色的性能、高效的吞吐成为唯一的实时计算引擎，实现了大一统。在接下来的 4 年里，集团所有实时计算业务全部迁移到 Blink，阿里的实时计算业务经历了最飞速的增长，平台规模体量也从千级别增长到万级别，实时计算 all on Blink。

• 3.0 时代：随着前两年阿里收购了德国 Flink 母公司，阿里中国和德国团队联手打造了基于云原生新底座、搭载 Flink 开源新引擎的 VVP 新平台。在 2021 年双 11，VVP 新平台以大幅度的性能提升平稳支撑了双 11，宣告着阿里实时计算进入了全新的 3.0 时代。

目前，阿里的实时计算已经拥有了几百万核算力，几万台物理机，几万个作业࿰