Ververica Platform-阿里巴巴全新Flink企业版揭秘

摘要：2019云栖大会大数据 & AI专场，阿里巴巴资深技术专家王峰带来“Ververica Platform-阿里巴巴全新Flink企业版揭秘”的演讲。本文主要从Ververica由来开始谈起，着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini，以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。

直播回放请点击

以下是精彩视频内容整理：

随着人工智能时代的降临，数据量的爆发，在典型的大数据业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。2017年基于Flink开发的实时计算产品正式服务于阿里巴巴集团内部，并从搜索和推荐两大场景开始应用。目前阿里巴巴及下属所有子公司，都采用实时计算产品来处理所有的实时业务。

Ververica 是如何诞生的？

众所周知，Apache Flink是业界非常流行的流计算引擎，最早诞生于欧洲，是柏林大学的研究型项目。后来由项目的发起人创办了DataArtisans公司并根据该研究项目孵化出 Flink，并于2014年将 Flink 捐赠给 Apache基金会。

同年，阿里巴巴开始关注Flink。由于搜索有很多业务场景非常依赖大数据和实时数据处理，而Flink在架构设计上，作为全流式的执行引擎，数据处理效率非常高。于是阿里巴巴内部开始着手研究Flink，并看好Flink将会成为新一代计算引擎，加速大数据计算的未来发展。

经过一年努力，阿里内部对Flink的开源版本做了很多深度优化与改进，使其能够适应阿里巴巴超大规模的业务场景，包括搜索、推荐等核心的业务场景。2016年，第一次将Flink推到双11场景使用，构建了搜索、推荐的全实时链路（包括在线学习、模型预测等），形成了一套完整的闭环。2017年，阿里巴巴全线上线了基于Flink实时计算产品，服务于阿里巴巴的搜索、推荐等核心场景以及广告、数据和所有部门的实时在线业务，比如：阿里巴巴双11全天各种多维的数据统计，交易额大屏幕的全球直播等全部都是由基于Flink的实时计算产品来支持。

在此基础之上，2018年，我们首次在阿里云公有云推出基于Flink的实时计算服务，开始支持各行各业的企业客户。阿里巴巴对Flink的认可度在逐渐增加，Flink也证明了在实时计算的业务中的巨大潜力。自此，阿里巴巴加大了对Flink的投入并加速推进Flink社区的发展。2019年1月，阿里巴巴收购了DataArtisans并创建了新企业品牌Ververica，以上即为Flink的企业品牌Ververica的由来。

在开源这块，相信大家都非常了解每个大的开源项目背后都有一个企业品牌，随着整合的逐步完善，德国的Flink创始团队与中国阿里巴巴的实时计算团队也开始密切合作。与此同时，我们也在持续推动Flink社区的发展。1月初，阿里巴巴将内部维护的Flink分支Blink贡献给整个Flink开源社区，目前阿里巴巴对Flink社区贡献的代码已超过100万行。并且，两个团队密切配合在商业化上进行联合作战，推出全新的Flink企业版——Ververica Platform。

Ververica Platform的技术架构如何，能够解决哪些应用场景，下面将详细讲解。

Ververica Platform 介绍

Ververica Platform是阿里巴巴推出的全新企业版，它仍然坚持以Apache Flink 的社区版本为内核，同时能够兼容各种企业级插件，在整个基于Flink的实时计算解决方案上对应用性、稳定性、性能、可运维性等方面提供企业级的增值服务。