一文带你了解 Flink Forward 柏林站全部重点内容

从图中可以看出，他们早在 2016 年 Flink 崭露头角的时候就已经将 Flink 加入到了他们的 EMR 当中。相比 Cloudera 的后知后觉，AWS 在这方面果然就老江湖了许多。令人印象深刻的是，AWS 这几年围绕流计算产品的发展，一直有一个清晰的主线，那就是针对不同体量的客户推出更加适合他们的产品和解决方案。他们很好的总结了不同体量的客户对产品的需求的不同（相信这不仅仅只是针对流计算，针对其他的产品也是异曲同工）：

比如他们发现了大量的客户有时候使用流计算框架只是简单的解决一个数据转存的问题，比如简单的把数据从 Kinesis Data Stream（这个其实是他们的一个消息队列服务，光看名字容易有点误导）转存到 S3 上，或者把数据发到 Redshift 或者 Elasticsearch。针对这种场景，他们就开发了专门的 Kinesis Data Firehose 产品，让用户不需要写代码就能够完成这样的工作。另外，一些具备一些开发能力的客户，会写一些代码或者 SQL 来对数据进行处理和分析。针对这种场景，他们提供了 Kinesis Data Analytics 服务。

另外让人印象深刻的一点是，AWS 的各个产品之间的协同做的非常好（我在后来还参加了一个 AWS Kinesis 产品的演示分享，其中涉及到不少产品之间的协调和打通，让人印象深刻）。每个产品专注解决一部分的问题，产品和产品之间在功能上不能说完全没有重叠的地方，但基本上还是非常克制。演讲中分享的每个真实的用户场景，基本都涉及了 3-5 个以上的产品互相的协同。对客户需求的精准把握，以及产品的协同站位精确解决用户问题，这两点非常值得我们去学习。

扯的有点远了，回到 Flink 上来。Rahul 最后总结了一下 Flink 是他们目前看到的会去消息队列里消费数据的产品中增长最快的系统，但从绝对体量上来看还是偏小。这也基本符合 Flink 目前的一个状态，热度高，增长也很快，但是绝对体量还偏小，不过这也预示着想象的空间还比较大。

• Google

Google 在 AWS 之后出场，由 Reven 和 Sergei 带来（前者也是《Streaming Systems》一书的作者之一，终于见到真人了）。这个 Talk 整体上来讲和 Flink 没有太大的关系，分享的是 Google 这些年在流计算相关系统的研发过程中得到的经验。和 AWS 相比，两家公司的特色也是相当鲜明。AWS 分享的都是对客户需求和产品的总结，而 Google 说的基本上都是纯技术上的经验收获。听了之后也确实收获良多，不过由于篇幅问题就不在这具体展开了。人家也已经准备好一段总结让我们可以打包带走：

主议程

由于分身乏术，在主议程中我只挑选了一些个人比较感兴趣或者是不怎么了解的领域进行观摩和学习。但为了整篇报告的完整性，我还是尽量的简单介绍一下其他我没有参与但是还算熟悉的议题。后续主办方也会将所有的视频和 PPT 上传到网上供大家进行查看。接下来我就把议题按照个人理解分成几个不同的类别，分别抛砖引玉一下。大家如果对其中的某些议题的细节特别感兴趣的，可以再去仔细查看视频和 PPT。

平台化实践

基于 Flink 构建数据平台可以算得上最热门的一个议题方向了。这几年阿里巴巴实时计算团队一直不遗余力的向社区推广基于 SQL 构建数据处理平台的经验，目前看起来大家也基本上认同了这个方向，也纷纷的开始上了生产。不过根据具体的场景，作业量的规模等特点，也有一些公司会选择使用更加底层和更加灵活的 DataStream API 来构建数据平台，或者两者都提供。这也符合我们一开始的判断，SQL 能解决大多数问题，但不是全部。在一些灵活的场景下，DataStream 能更方便和高效的解决用户的问题。

• 议题1：《Writing a interactive SQL engine and interface for executing SQL against running streams using Flink》

这个分享来自美国的一家名叫 eventador 的创业公司，也是本次大会的赞助商之一。整个分享大部分还是他们产品架构和功能的介绍，基本上和我们以及其他公司的平台架构类似。比较有意思的是，他们也发现了在平台化的实践过程中，用户是同时需要 SQL 这种高阶 API 以及更加灵活和偏底层点的 DataStream API，并且这两者的比例是 8：2 开。

还有一个比较有意思的功能是，他们在 SQL 上提供了 JavaScript 的 UDF 支持，并且在他们的用户之间非常受欢迎。在 SQL 上，持续的降低使用门槛确实是一个比较靠谱的路子，和我们想提供 Python UDF 支持也是基于同样的出发点。