实时计算的未来路向何方?

2ebfba5395cec23b2313d931fafe97f4.gif

2024年11月29日,Flink Forward Asia 2024 峰会正式拉开帷幕。Flink Forward Asia 是由 Apache 软件基金会官方授权,由阿里云承办的技术峰会。

8f902fbe3948c354eac5965aae49ae20.png

Apache Flink 的过去、现在、未来

Apache Flink 中文社区发起人、Apache Paimon PMC Member、阿里云开源大数据平台负责人王峰带来了主旨演讲《The Past,Present and Future of Apache Flink》回望过去十年,Flink 从最初的流处理框架到如今全球范围内流计算的事实标准,经历了多次重要版本迭代和技术革新。目前,Flink 社区在全球的贡献者已有近 2000 人。

349ced838ff2546e73bbbab44c7bdfdf.png

王峰介绍,为了满足大模型应用等新兴场景的需求,阿里云正在主导推进 Flink2.0 的研发,将全方位提升 Flink 的性能和功能易用性,例如将采用全新的存算分离架构、深度融合湖仓架构等。这是 2016 年 Flink 1.0 发布以来最大规模的更新,该版本将于 2025 年正式发布。王峰表示:“从使用者,到社区最大的贡献者,阿里巴巴将持续推动 Flink 技术生态的繁荣,让 Flink 普惠干行百业企业。

66ef31b117524319c85d0b5a0c183809.jpeg

f359284a9e3178cf3af84bab394c91ec.png

Apache Flink 2.0:面向未来十年的流计算引擎

Apache Flink PMC 成员宋辛童、梅源、李麟三位专家详细介绍了即将发布的 Flink 2.0 版本。为应对大数据实时计算在近年来云原生、数据湖、AI 等技术趋势下面临的新挑战,Flink 将在 2.0 版本中进行重大技术架构升级与革新,包括存算分离的状态存储与管理、流批一体、SQL Materialized Table、与 Apache Paimon 深度集成的流式湖仓架构、以及在 SQL 中原生支持 AI 模型调用等。

974149070fded6f5d9a85f965cc13693.png

Paimon 1.0:大数据+AI一体化湖存储引擎

Apache Paimon PMC 主席、Apache Flink PMC 成员李劲松分享了基于 Paimon +Flink 实现的数据湖解决方案。李劲松介绍,目前企业内大数据从业者有三个难题:如何在降本的大环境下让数据变得更实时、框架存储多难维护成本高、大数据和 AI 的结合。应对这些难题,Flink +Paimon 打造流式湖仓架构,可以实现低成本离线数据加速、面向流、批、OLAP 构建流批一体架构、并让湖仓成为 AI 的基础架构。

淘天集团、抖音集团、vivo 等行业嘉宾分享了基于 Flink + Paimon 架构实现实时湖仓一体的产业实践,并分享了在时效性提升、计算存储成本优化、流批一体开发效率提升等方面的具体实现路径。

d6da8a87c257759237ce49c636f81ade.png

Fluss:面向实时分析的下一代流存储引擎

在本次大会上,阿里巴巴正式开源了新一代流存储引擎 Fluss (项目地址:https://github.com/alibaba/fluss)。

Apache Flink PMC 成员伍翀介绍,Fluss 创新性地将列存格式和实时更新能力融合进了流存储中,并与 Flink 深度集成,帮助用户构建高吞吐量、低延迟、低成本的流式数仓。Fluss 具备实时读写、列式裁剪、流式更新、CDC订阅、实时点查、湖流一体等核心特性。

f36f29f4406843a409f1671d7a854763.png

2bca11772fa8fdb0f6c177930500028d.png

圆桌:AI 时代下大数据技术未来路在何方?

在圆桌讨论环节中,哈啰集团大数据总监云襄、喜马拉雅数据平台部负责人陈叶超、阿里云智能开源大数据平台负责人王峰、阿里云人工智能平台 PAI 产品负责人黄博远几位行业领袖展开了深入交流,共同探AI的落地场景、AI如何为大数据业务提升效率和效果、以及如何构建大数据基础设施来更好的构建 AI 应用。

1521063b980a4c71460cfd1456888751.jpeg

主论坛精彩回放

PC 端入口 https://asia.flink-forward.org/shanghai-2024/

▼「精彩回放」扫码了解更多技术动向 ▼

7c54f4f8c72c7421e27f9925b2230462.png

点击【阅读原文】,前往官网查看回放~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSDN资讯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值