众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会。如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速度与灵活性。
Surprise
ASK ME ANYTHING
《将 Apache Flink 用作一体化的数据处理平台》
崔星灿
Apache Flink Committer
York University 博士后
作为新一代的流处理引擎,Apache Flink 已经广泛应用于很多实时作业场景中。我们发现它在经过近几个版本的迭代后,已经具备一些成为一体化数据处理平台的潜力,可同时用来处理动态和静态的数据,进行分布式和集中式计算,以及支持作业式和交互式任务等。
本次演讲,我们旨在向大家展示一些探索性质的尝试——将 Apache Flink 用作某一通用数据处理流程的一体化后端平台。具体而言,我们会首先介绍这一通用的数据处理流程,并简要描述它每个阶段的特点。随后,我们会详细解释如何在不触及 Flink 核心的前提下对其进行“塑造”,以满足多样化的数据处理需求。在此期间还会涉及部分对 Flink 运行机制的讲解。最后,基于将 Flink 打造成为一个真正的一体化数据处理平台这一目标,我们将对未来工作进行一些展望。
《Bring Cross DC and Cross Data Source SQL Engine to Apache Flink》
张韶全
腾讯 Senior Engineer
漂移计算 SuperSQL 是腾讯大数据自研的跨数据中心、跨集群、跨数据源的高性能大数据 SQL 引擎,满足对位于不同数据中心/集群的不同类型数据源的数据联邦分析/即时查询的需求。解决大数据中数据孤岛难题,降低数据使用壁垒,提升数据使用效率,最大化数据价值。
在这个演讲中,我们会介绍漂移计算 SuperSQL 项目的细节,包括:
1. 漂移计算的背景和定位
2. 漂移计算的主要技术挑战
3. 漂移计算的整体架构
4. 漂移计算的技术细节
5. 漂移计算的性能表现
6. 未来规划
《New Flink source API: Make it easy》
《深入探索 Flink SQL 流批统一的查询引擎与最佳实践》
(11 月 28 日下午)
(11 月 29 日上午)
深度培训,实现技术与应用能力的积累提升
大会组委会还为使用 Flink、希望深度学习的开发者们精心准备了培训课程。届时,来自阿里巴巴和 Ververica 的 Flink 专家们将带领开发者开展为期一天半的深度学习。
Apache Flink PMC 带队,超豪华阵容,阿里巴巴及 Flink 创始团队资深技术专家担任培训讲师,为开发者培训课程制定全面学习体系。
课程能够满足不同学习需求,无论是入门还是进阶,开发者可根据自身基础选择课程内容,实现技术与应用能力上的积累与提升。
-
中阶一:Apache Flink 开发人员培训
-
介绍流计算和 Apache Flink
-
DataStream API 的基础
-
为 Flink 开发做准备(包括练习)
-
有状态的流处理(包括练习)
-
时间、定时器和 ProcessFunction(包括练习)
-
连接多个流(包括练习)
-
测试(包括练习)
-
中阶二:Apache Flink 运维培训
-
介绍流计算和 Apache Flink
-
数据中心里的 Flink
-
分布式架构介绍
-
容器化部署(包括实际操作)
-
状态后端和容错(包括实际操作)
-
升级和状态迁移(包括实际操作)
-
指标(包括实践)
-
容量规划
-
中阶三:SQL 开发人员培训
-
介绍 SQL on Flink
-
使用 SQL 查询动态表
-
连接动态表
-
模式匹配与 match_recognition
-
生态系统&写外部表
-
高阶:Apache Flink 调优和问题排查
-
时间和水印
-
状态处理和状态后端
-
Flink 的容错机制
-
检查点和保存点
-
DataStream API 和 ProcessFunction。
-
参加培训请选择购买 VIP 套票。 中阶培训购买 VIP 套票 1,高阶培训购买 VIP 套票 2 。
-
VIP 套票 1 可参与中阶所有课程,VIP 套票 2 可参与包括高阶、中阶培训在内的所有课程。
▼ 关注 Ververica,Flink 爱你 ▼
你也「在看」吗?