在如今的 “快” 时代中,越多越多的企业开始重视数据的实时性,曾经的主流 “批处理” 已经跟不上数据变换的脚步,开始变得 “拖后腿”。随着技术的升级,开发者们开始思考更多的可能性,于是 “流处理” 思维应运而生,逐渐得到各大企业的垂青。“实时性” 被作为企业构建技术架构的第一考量,并用各类强大的开源引擎如 Apache Flink、Apache Spark、Apache Kafka、Apache Pulsar、Apache Storm 等搭建自己的实时计算平台。
作为孵化了这些项目的 Apache 基金会,自 1998 年以来,每年都会举办一场开源届最期待的大会 ApacheCon,一般都是在欧洲或北美举行。来自全球的 Apache 专家与广大技术爱好者齐聚于此,分享业内最新的技术动态,探索未来的可能性。
今年,ApacheCon 首次针对亚太地区的开发者举行 ApacheCon Asia 在线会议,时间定于 8 月 6 日至 8 日。汇集了流处理、Keynote、大数据、API / 微服务、中间件等 14 个专题的 140+ 场议题演讲,大家足不出户即可参加这次开源盛宴。
ApacheCon 议程详情:
https://apachecon.com/acasia2021/zh/tracks.html
Keynote
首先介绍一下 Keynote 论坛,作为 ApacheCon 的主会场,Ketnote 邀请了各位开源届的大咖,来分享他们在开源社区的心得和感悟。其中就有阿里巴巴研究员王峰在 8 月 8 日 15: 50 带来的《阿里巴巴开源数据之路》
议题介绍:
阿里巴巴在大数据技术方向上一直坚持着自研和开源双轨制发展模式,在做好自研的基础上积极拥抱开源生态,尤其是近年来随着阿里云业务的持续高速发展,基于开源技术生态的云产品体系越来越受到市场的青睐。阿里巴巴在 12 年前就开始基于 Apache Hadoop 构建第一代大数据平台-云梯,并从 2016 年开始大力推动 Apache Flink 社区的发展,目前阿里巴巴已经成为 Apache Flink 社区全球最大的贡献者和推动者。目前阿里开源大数据团队已经培养出超过 30名 Apache 顶级项目 Commiter / PMC Member 以及多名 ASF Member,本次 Talk 我们将向大家介绍阿里巴巴过去 10 年来的开源大数据技术发展历程以及未来规划。
嘉宾介绍:
王峰|阿里巴巴 研究员
王峰,花名莫问,阿里巴巴研究员,开源大数据平台负责人。目前带领团队基于开源大数据技术构建阿里云开源大数据产品体系,包括基于 Flink 的实时计算服务, 基于 Hadoop /Spark 的 E-MapReduce 平台以及新一代数据湖分析产品,不仅对内服务阿里巴巴集团所有实时数据业务,同时也通过阿里云为广大中小企业提供全球领先的开源大数据计算服务。
Streaming (流处理)
接下来,我们着重介绍一下于 8 月 7 日开启的 Streaming 论坛。在该论坛中,您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验,以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。
出品人
李钰(绝顶)
Apache Flink PMC Member,
阿里巴巴高级技术专家
李钰,花名绝顶,Apache 软件基金会成员,Apache Flink 及 HBase 开源社区管理委员会成员,阿里云 Flink 存储引擎团队及 EMR 平台技术团队负责人。
8 月 7 日议程亮点
《Flink 在阿里巴巴的最新动态》
嘉宾:梅源
时间:8 月 7 日 13: 30 - 14: 10
议题介绍:
在本次演讲中,我们将分享近年来阿里巴巴基于 Apache Flink 取得的一些最激动人心的成就,主要包括两个方面:流批一体的架构演进,以及近期为提高流式处理的高可用性所做的努力。
阿里巴巴从 2016 年开始基于 Apache Flink 搭建流计算平台,并热衷于推动 Flink 开源发展。Apache Flink 近年来持续演进,已经成为事实上的实时计算标准。去年,Flink的流批一体功能首次正式应用于天猫双十一的核心场景:媒体大屏实时营销分析,我们将分享这背后的核心技术。此外,Flink从未停止探索更加极致的实时处理能力,在本次演讲中我们也将探讨社区近期在这方面的一些努力和进展。
嘉宾介绍:
梅源目前是阿里巴巴 Flink 引擎的架构师,在加入阿里巴巴之前,她是 Facebook 的研究科学家。她是 Turbine (Facebook 的流处理服务管理平台,ICDE2020) 的主要贡献者之一,有建立流处理系统 (Puma & Stylus,VLDB2018) 和 Facebook 许多其他数据系统 (Presto) 的丰富经验。她拥有麻省理工学院 CSAIL 的博士学位,导师是 Samuel Madden 教授和 Michael Stonebraker 教授。
《流批一体在网易云音乐的实践和规划》
嘉宾:汪磊
时间:8 月 7 日 14: 10 - 14: 50
议题介绍:
在本次演讲中,我们将主要介绍流计算平台在网易云音乐的发展和现状,在现有的业务基础上要实现批流一体我们面临的挑战和思考,以及我们目前的进展以及未来的规划。
整体大纲如下:
流计算在云音乐发展和现状
实现批流一体的目标和挑战
云音乐在批流一体上思考和实践
未来的方向和规划
嘉宾介绍:
汪磊是网易云音乐数据职能部数据开发专家,网易云音乐云音乐数据平台组系统方向部门负责人,8 年数据相关从业经验。
《美团实时数仓平台的建设实践》
嘉宾:汤楚熙
时间:8 月 7 日 15: 30 - 16: 10
议题介绍:
在这次演讲中,我们将详细介绍美团实时数仓开发工具链的建设实践。
嘉宾介绍:
汤楚熙在 2016 年加入美团,并长期从事BI应用、数据开发工具链、数仓架构设计以及大数据流计算引擎的开发运维等工作。在实时数仓开发、架构设计领域有着丰富经验。
《Flink 在奇虎 360 的平台建设演进与
典型场景》
嘉宾:范新普
时间:8 月 7 日 16: 10 - 16: 50
议题介绍:
在本次演讲中,我们将介绍奇虎 360 实时计算平台的发展和服务的典型业务场景,大纲如下:
一、奇虎 360 的实时计算平台
1.奇虎 360 的实时计算演进之路
2.奇虎 360 的 Flink 使用概况
二、基于 Flink 的平台化 1.0——Hermes
1.Hermes 的架构
2.Hermes 的不足
三、基于 Flink 的平台化 2.0——奇麟
1.奇麟实时计算平台的架构
2.奇麟实时计算平台的改进
四、Flink 在奇虎 360 的典型场景
1.基于 Flink CEP 的安全场景解决方案构建
2.基于 Hyperscan 的正则匹配效能提升
五、未来展望
嘉宾介绍:
范新普是奇虎 360 系统部的实时计算工程师。主要负责基于 Flink 的工作平台建设,以及 Flink 技术在公司内部的推广。
以上是 ApacheCon Aisa Keynote 以及流处理论坛的精彩分享,有没有你关注的议题呢?快来报名吧!
????扫描二维码获取免费门票????
更多 Flink 相关技术问题,可扫码加入社区钉钉交流群~
▼ 关注「Flink 中文社区」,获取更多技术干货 ▼
戳我,查看会议日程~