Ververica的博客

摘要：本文整理自中阿里云 DataWorks 数据集成团队陈吉通老师在 Flink Forward Asia 2024 生产实践（二）专场中的分享。内容分为以下四个部分：1.阿里云 DataWorks 数据集成介绍2.DataWorks 数据集成入湖解决方案的架构和原理3.DataWorks 数据集成入湖场景的产品化案例分享4.未来规划Tips：关注「公众号」回复FFA 2024 查看会后资料～...

。摘要：本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案（一）专场中的分享。主要分为以下三个部分：微财科技基于 Flink 构建时变量池分享架构选型和开发效率提升策略实时变量池架构与多流关联优化实践Tips：关注「公众号」回复FFA 2024 查看会后资料～01微财科技基于 Flink 构建时变量池分享本次分享的的主题是微财基于 Flin...

Apache Flink 社区非常高兴地宣布 Flink CDC 的下一个主要版本 3.3.0 已经发布。现在，您可以访问 Flink CDC Release 页面[1] 下载 CDC 3.3.0 的二进制包，也可以在文档网站[2] 上访问最新版本的文档。如果您在使用时遇到任何问题，欢迎在 Flink 用户邮件列表[3]、用户钉群、GitHub Discussions[4] 或 Flink JIR...

本文整理自阿里云产品经理李昊哲老师在 Flink Forward Asia 2024 流批一体（一）专场中的分享，主要分为以下三个方面：1. 实时湖仓发展趋势洞察2. 基于Flink搭建流批一体实时湖仓3. MaterializedTable升级流批一体湖仓体验

摘要：本文整理自用友畅捷通数据架构师王龙强老师在 Flink Forward Asia 2024 生产实践专场中的分享，主要分为以下五个方面：业务背景数仓建设当前挑战最佳实践未来展望Tips：关注「公众号」回复FFA 2024 查看会后资料～用友旗下的畅捷通信息技术股份有限公司自 2010 年成立以来，经历了从传统软件服务向 SaaS 转型的历程，并逐步构建了自己的云服务平台。在过去两年中，基于...

摘要：本文整理自阿里云高级开发工程师，Apache Flink Committer 阮航老师在 Flink Forward Asia 2024 生产实践（三）专场中的分享，主要分为以下四个方面：Flink CDC&实时计算FlinkCDC YAML核心功能CDC YAML典型应用场景Demo&未来规划Tips：点击「阅读原文」跳转 Flink CDC 实时数据同步方...

Fluss [2] 是阿里巴巴前几周开源的一个新一代流存储，请查看其公告文章[3]。Fluss 与其他流存储（如 Apache Kafka、Apache Pulsar、Redpanda 等）非常相似，但在某些方面也存在显著差异（并且确实具备一些独特的功能），比如Fluss被设计成与 LakeHouse（如 Apache Iceberg 和 Apache Paimon）紧密集成。目前，Fluss 还没有支持 Kafka 协议，但这已被列入Fluss 的 Roadmap 中。

摘要：本文整理自阿里云高级技术专家 Apache Flink PMC 朱翥老师，在 Flink Forward Asia 2024 流批一体（一）中的分享。内容主要分为三部分：背景介绍工作介绍总结展望Tips：关注「公众号」回复FFA 2024 查看会后资料～本次分享的内容主要分为三个部分。首先，将探讨为何需要增量计算，以及为何选择 Apache Flink 进行增量计算的工作。第二部分将介绍当...

本文整理自阿里云智能开源湖存储负责人李劲松在 Flink Forward Asia 2024 上海站主论坛上的演讲。演讲中提到，Apache Paimon 于今年3月份成功毕业成为 Apache 顶级项目，下一步计划发布 1.0 版本，期望达到 Unified Lake Format for Data + AI，解决数据处理与AI应用中的多个关键问题。Paimon 结合 Flink 打造 Streaming Lakehouse 解决方案，该方案已在阿里巴巴集团及多个行业中得到广泛应用。

在 2024 年，Apache Flink 继续在大数据流计算领域稳固其领导地位，经过十年的不断努力与创新，我们欣喜地看到 Flink 不仅在技术架构上取得重大突破，更在业界实践中展现了强大的生命力。流式湖仓架构的提出与实施，标志着 Flink 从传统的流处理走向了更广泛的应用场景，满足了日益增长的实时数据处理需求。尤其是在今年阿里巴巴“双十一”活动中的成功应用，充分展示了 Flink+Paimo...

摘要：本文撰写自杭州银行大数据工程师唐占峰、欧阳武林老师。将介绍 Flink 动态 CEP的定义与核心概念、应用场景、并深入探讨其技术实现并介绍使用方式。主要分为以下几个内容：Flink动态CEP简介Flink动态CEP的应用场景Flink动态CEP的技术实现Flink动态CEP的使用方式杭州银行应用实践Tips：点击「阅读原文」跳转阿里云实时计算 Flink～金融行业大数据技术正在进入成熟期，数...

摘要：本文整理自阿里云技术专家，Apache Flink Committer兰兆千老师，在 Flink Forward Asia 2024 核心技术（一）中的分享。主要分为以下几个内容：1. Flink 2.0 存算分离架构介绍2. 全新状态存储内核 — ForSt DB3. 工作进展 & 未来展望Tips：关注「公众号」回复FFA 2024 查看会后资料～01Flink 2.0 存算...

整个筹备过程经历了相当长的时间，经过 Flink 1.18、1.19、1.20 三个小版本的迭代，终于在不久前的 10 月，在柏林的 Flink Forward 会议上，我们发布了 Flink 2.0 的预览版本。Flink 2.0 的筹备过程耗时接近两年，从去年的 4 月到明年年初发布，其原因除了技术架构升级的复杂性，还有就是我们将在这次大版本升级中引入一系列非兼容性的改动，希望为用户和生态合作伙伴留出足够的时间来适应这些改动。正如之前提到的，存储访问延迟对 Flink 的性能有非常关键的影响。

本文整理自阿里云高级开发工程师，Flink Committer 罗宇侠老师在 Flink Forward Asia 2024上海站分论坛流批一体（二）中的分享

摘要：本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024上海站主论坛开场的分享，今年正值Flink开源项目诞生的第10周年，借此时机，王峰回顾了Flink在过去10年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年Flink路向何方。内容主要分为这三个部分：Apache Flink 10周年发展回顾Apache Flink 当前的发展...

本文整理自阿里云智能 Flink SQL和数据通道负责人、Apache Flink PMC 伍翀（花名：云邪）老师，在 Flink Forward Asia 2024 主会场的分享。主要分享了一种专为流分析设计的新一代存储解决方案——Fluss，并由阿里巴巴开源委员会副主席王峰先生，在 FFA 2024 现场进行了 Fluss 项目的开源。

CDC YAML 是 Flink CDC 提供的简单易用的数据集成 API，用于帮助用户快速构建功能强大的数据同步链路，实时地同步业务数据库中的数据变更和表结构变更实时同步到数据仓库，数据湖以及其他下游系统。CDC YAML 上手门槛较低，即使没有研发背景和Flink基础，用户也可以较快地完成数据的同步和ETL加工，快速完成数据的实时入湖入仓，加速数据分析效率。

一年一度的 Apache Doris 峰会再次启航，Doris Summit Asia 2024 现已开启报名，将于 2024 年 12 月 14 日在深圳正式举办。扫描图片右侧二维码即可报名2024 年，Apache Doris 迎来了 3.0 版本的正式发布。3.0 系列版本正式迈入存算分离新纪元，用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构，用户可以通过多...