自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Ververica的博客

Apache Flink 官方运营账号

  • 博客(810)
  • 收藏
  • 关注

原创 Flink Materialized Table:构建流批一体 ETL

摘要:本文整理自阿里云智能集团 、Apache Flink Committer 刘大龙老师在 Flink Forward Asia 2024 流批一体(一)专场中的分享。主要分为以下三个方面:A User Story Of Data EngineerMaterialized Table 构建流批一体 ETLDemoTips:关注「公众号」回复FFA 2024 查看会后资料~01A User St...

2025-02-13 20:01:45 745

原创 ​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计

摘要:本文整理自阿里云实时数仓 Hologres 负责人姜伟华老师在 Flink Forward Asia 2024 行业解决方案(二)专场中的分享。主要分为以下三个方面:实时数仓的发展历程从实时数仓到实时湖仓总结Tips:关注「公众号」回复FFA 2024 查看会后资料~01实时数仓的发展历程以一个典型客户案例来回顾实时数仓的发展历程。1.1 第一代实时数仓:Lambda 架构,离线实时分别计...

2025-02-11 20:01:38 812

转载 官宣|Apache Paimon 1.0 发布公告

Apache Paimon PMC 正式发布具有里程碑意义的 1.0 稳定版本(版本号 1.0.1)。这次核心版本历经近5个月的精心打磨,汇集了来自全球开源社区的 70 余位开发者智慧,累计完成 520 余项代码提交,充分展现了社区驱动的技术演进力量。我们谨向所有参与贡献的开发者致以诚挚谢意!值得关注的是,Paimon 1.0 已成功通过阿里巴巴集团和字节跳动等头部企业的严苛生产验证。在双十一全...

2025-02-10 20:01:35 71

原创 Flink CDC YAML:面向数据集成的 API 设计

本文整理自阿里云智能集团 、Flink PMC Member & Committer 徐榜江(雪尽)老师在 Flink Forward Asia 2024 数据集成(一)专场中的分享。

2025-02-06 20:03:40 770

转载 Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践

摘要:本文整理自中阿里云 DataWorks 数据集成团队陈吉通老师在 Flink Forward Asia 2024 生产实践(二)专场中的分享。内容分为以下四个部分:1.阿里云 DataWorks 数据集成介绍2.DataWorks 数据集成入湖解决方案的架构和原理3.DataWorks 数据集成入湖场景的产品化案例分享4.未来规划Tips:关注「公众号」回复FFA 2024 查看会后资料~...

2025-01-26 20:00:58 53

原创 微财基于Flink构造实时变量池

。摘要:本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案(一)专场中的分享。主要分为以下三个部分:微财科技基于 Flink 构建时变量池分享架构选型和开发效率提升策略实时变量池架构与多流关联优化实践Tips:关注「公众号」回复FFA 2024 查看会后资料~01微财科技基于 Flink 构建时变量池分享本次分享的的主题是微财基于 Flin...

2025-01-23 20:01:52 478

转载 Flink CDC 3.3.0 发布公告

Apache Flink 社区非常高兴地宣布 Flink CDC 的下一个主要版本 3.3.0 已经发布。现在,您可以访问 Flink CDC Release 页面[1] 下载 CDC 3.3.0 的二进制包,也可以在文档网站[2] 上访问最新版本的文档。如果您在使用时遇到任何问题,欢迎在 Flink 用户邮件列表[3]、用户钉群、GitHub Discussions[4] 或 Flink JIR...

2025-01-22 20:02:06 132

原创 湖仓实时化升级 :Uniflow 构建流批一体实时湖仓

本文整理自阿里云产品经理李昊哲老师在 Flink Forward Asia 2024 流批一体(一)专场中的分享,主要分为以下三个方面:1. 实时湖仓发展趋势洞察2. 基于Flink搭建流批一体实时湖仓3. MaterializedTable升级流批一体湖仓体验

2025-01-21 20:01:44 784

原创 用友畅捷通在Flink上构建实时数仓、挑战与最佳实践

摘要:本文整理自用友畅捷通数据架构师王龙强老师在 Flink Forward Asia 2024 生产实践专场中的分享,主要分为以下五个方面:业务背景数仓建设当前挑战最佳实践未来展望Tips:关注「公众号」回复FFA 2024 查看会后资料~用友旗下的畅捷通信息技术股份有限公司自 2010 年成立以来,经历了从传统软件服务向 SaaS 转型的历程,并逐步构建了自己的云服务平台。在过去两年中,基于...

2025-01-16 20:00:37 481

原创 Flink CDC 在阿里云实时计算Flink版的云上实践

摘要:本文整理自阿里云高级开发工程师,Apache Flink Committer 阮航老师在 Flink Forward Asia 2024 生产实践(三)专场中的分享,主要分为以下四个方面:Flink CDC&实时计算FlinkCDC YAML核心功能CDC YAML典型应用场景Demo&未来规划Tips:点击「阅读原文」跳转 Flink CDC 实时数据同步方...

2025-01-14 20:01:09 723

原创 Fluss: First Impression

Fluss [2] 是阿里巴巴前几周开源的一个新一代流存储,请查看其公告文章[3]。Fluss 与其他流存储(如 Apache Kafka、Apache Pulsar、Redpanda 等)非常相似,但在某些方面也存在显著差异(并且确实具备一些独特的功能),比如Fluss被设计成与 LakeHouse(如 Apache Iceberg 和 Apache Paimon)紧密集成。目前,Fluss 还没有支持 Kafka 协议,但这已被列入Fluss 的 Roadmap 中。

2025-01-10 10:07:02 768

原创 基于 Flink 进行增量批计算的探索与实践

摘要:本文整理自阿里云高级技术专家 Apache Flink PMC 朱翥老师,在 Flink Forward Asia 2024 流批一体(一)中的分享。内容主要分为三部分:背景介绍工作介绍总结展望Tips:关注「公众号」回复FFA 2024 查看会后资料~本次分享的内容主要分为三个部分。首先,将探讨为何需要增量计算,以及为何选择 Apache Flink 进行增量计算的工作。第二部分将介绍当...

2025-01-07 20:01:01 837

原创 Paimon 1.0: Unified Lake Format for Data + AI

本文整理自阿里云智能开源湖存储负责人李劲松在 Flink Forward Asia 2024 上海站主论坛上的演讲。演讲中提到,Apache Paimon 于今年3月份成功毕业成为 Apache 顶级项目,下一步计划发布 1.0 版本,期望达到 Unified Lake Format for Data + AI,解决数据处理与AI应用中的多个关键问题。Paimon 结合 Flink 打造 Streaming Lakehouse 解决方案,该方案已在阿里巴巴集团及多个行业中得到广泛应用。

2025-01-02 14:32:53 864

原创 您有一份 Apache Flink 社区年度报告请查收~

在 2024 年,Apache Flink 继续在大数据流计算领域稳固其领导地位,经过十年的不断努力与创新,我们欣喜地看到 Flink 不仅在技术架构上取得重大突破,更在业界实践中展现了强大的生命力。流式湖仓架构的提出与实施,标志着 Flink 从传统的流处理走向了更广泛的应用场景,满足了日益增长的实时数据处理需求。尤其是在今年阿里巴巴“双十一”活动中的成功应用,充分展示了 Flink+Paimo...

2024-12-31 18:02:48 1052

原创 探索Flink动态CEP:杭州银行的实战案例

摘要:本文撰写自杭州银行大数据工程师唐占峰、欧阳武林老师。将介绍 Flink 动态 CEP的定义与核心概念、应用场景、并深入探讨其技术实现并介绍使用方式。主要分为以下几个内容:Flink动态CEP简介Flink动态CEP的应用场景Flink动态CEP的技术实现Flink动态CEP的使用方式杭州银行应用实践Tips:点击「阅读原文」跳转阿里云实时计算 Flink~金融行业大数据技术正在进入成熟期,数...

2024-12-24 20:04:40 1266

原创 Flink 2.0 存算分离状态存储 — ForSt DB

摘要:本文整理自阿里云技术专家,Apache Flink Committer兰兆千老师,在 Flink Forward Asia 2024 核心技术(一)中的分享。主要分为以下几个内容:1. Flink 2.0 存算分离架构介绍2. 全新状态存储内核 — ForSt DB3. 工作进展 & 未来展望Tips:关注「公众号」回复FFA 2024 查看会后资料~01Flink 2.0 存算...

2024-12-19 20:01:32 1046

原创 Apache Flink 2.0:Streaming into the Future

整个筹备过程经历了相当长的时间,经过 Flink 1.18、1.19、1.20 三个小版本的迭代,终于在不久前的 10 月,在柏林的 Flink Forward 会议上,我们发布了 Flink 2.0 的预览版本。Flink 2.0 的筹备过程耗时接近两年,从去年的 4 月到明年年初发布,其原因除了技术架构升级的复杂性,还有就是我们将在这次大版本升级中引入一系列非兼容性的改动,希望为用户和生态合作伙伴留出足够的时间来适应这些改动。正如之前提到的,存储访问延迟对 Flink 的性能有非常关键的影响。

2024-12-17 20:04:05 953

原创 流存储Fluss:迈向湖流一体架构

本文整理自阿里云高级开发工程师,Flink Committer 罗宇侠老师在 Flink Forward Asia 2024上海站分论坛流批一体(二)中的分享

2024-12-17 16:38:54 1329

原创 The Past, Present and Future of Apache Flink

摘要:本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024上海站主论坛开场的分享,今年正值Flink开源项目诞生的第10周年,借此时机,王峰回顾了Flink在过去10年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年Flink路向何方。内容主要分为这三个部分:Apache Flink 10周年发展回顾Apache Flink 当前的发展...

2024-12-12 20:00:27 1171

原创 Fluss:面向实时分析设计的下一代流存储

本文整理自阿里云智能 Flink SQL和数据通道负责人、Apache Flink PMC 伍翀(花名:云邪)老师,在 Flink Forward Asia 2024 主会场的分享。主要分享了一种专为流分析设计的新一代存储解决方案——Fluss,并由阿里巴巴开源委员会副主席王峰先生,在 FFA 2024 现场进行了 Fluss 项目的开源。

2024-12-11 10:50:02 1016

原创 CDC YAML 在阿里云的最佳实践

CDC YAML 是 Flink CDC 提供的简单易用的数据集成 API,用于帮助用户快速构建功能强大的数据同步链路,实时地同步业务数据库中的数据变更和表结构变更实时同步到数据仓库,数据湖以及其他下游系统。CDC YAML 上手门槛较低,即使没有研发背景和Flink基础,用户也可以较快地完成数据的同步和ETL加工,快速完成数据的实时入湖入仓,加速数据分析效率。

2024-12-06 16:58:10 1192

转载 活动推荐|Doris Summit Asia 2024 议程正式公开,线下报名现已启动!

一年一度的 Apache Doris 峰会再次启航,Doris Summit Asia 2024 现已开启报名,将于 2024 年 12 月 14 日在深圳正式举办。扫描图片右侧二维码即可报名2024 年,Apache Doris 迎来了 3.0 版本的正式发布。3.0 系列版本正式迈入存算分离新纪元,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多...

2024-12-04 08:01:38 84

转载 从开源到行业标准|Flink背后的中国力量

摘要:如果说,阿里云以一己之力捧红了Flink,这并不夸张。十年间,这个曾默默无闻的学术项目完成了一次惊艳逆袭,成为全球实时计算领域的“事实标准”。而这一切的背后,既有Flink自身潜力的爆发,也离不开阿里云的全力扶持。Flink Forward Asia 2024大会现场:莫问演讲中就在今日(11月29日),Flink Forward Asia 2024 在上海拉开帷幕,这场汇聚了全球开发者和行...

2024-12-02 20:03:23 110

转载 阿里重磅开源 Fluss: Flink Unified Streaming Storage

在11月29日举办的 Flink Forward Asia 2024 大会主题演讲上,阿里巴巴正式开源了 Fluss 项目(https://github.com/alibaba/fluss)。阿里巴巴开源委员会副主席王峰先生,在现场进行了 Fluss 项目的开源,赢得了现场观众的热烈反响。Fluss 项目是由阿里云智能 Flink 团队研发的一款面向流分析的下一代流存储,旨在解决流存储在分析方面长...

2024-11-29 16:15:57 178

转载 Flink Forward Asia 2024 主旨演讲精彩回顾

2024年11月29日,Flink Forward Asia 2024 峰会正式拉开帷幕。Flink Forward Asia 是由 Apache 软件基金会官方授权,由阿里云承办的技术峰会。Apache Flink 的过去、现在、未来Apache Flink 中文社区发起人、Apache Paimon PMC Member、阿里云开源大数据平台负责人王峰带来了主旨演讲《The Past, Pre...

2024-11-29 16:15:57 194

转载 Nebula Flink Connector 在实时 ETL 的实践

作者介绍祝亚运,新奥新智研发,专注实时数据处理、OLAP 集群维护工作。在 NebulaGraph nMeetup 上海站作为讲师分享了 NebulaGraph Flink Connector 在 ETL 过程中的高效应用,本文从理论到实践,超详细讲解 NebulaGraph Flink Connector 使用思路。Nebula Flink Connector简介1NebulaGraph Fl...

2024-11-28 20:01:59 93

转载 内含福利 | StarRocks 2024年度技术峰会,与30+全球企业共探湖仓技术创新

StarRocks 社区的年度盛会——StarRocks Summit Asia 2024 将于 12 月 7 日在北京隆重登场!StarRocks 社区作为连接用户、平台方、业务方、技术爱好者与学术人员的开放平台,始终致力于打造标准化的行业解决方案,让每一位参与者都能在实践中汲取经验,在交流中碰撞创新。在过去三年的交流中,我们与数百家社区用户共同探讨了大数据领域的主要挑战:随着实时分析需求的激增...

2024-11-27 19:00:47 74

转载 参会指南|Flink Forward Asia 2024 上海站即将开幕!

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。适逢 Apache Flink 诞生 10 周年,今年的 FFA 将与广大开发者分享 Flink 过去十年在技术和生态方面的演进历程及关键成果。同时,基于当前 AI 时代的新场景,展望未来十年 Flink 的发展方向和规...

2024-11-26 20:03:51 69

转载 FFA 2024「行业解决方案、Data+AI、云原生」专场:Flink在行业应用、AI大模型与云原生技术中的创新探索...

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届。适逢 Apache Flink...

2024-11-25 20:00:25 201

转载 直播预告|FFA 2024 上海主论坛,11月29日正式上线!

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届。适逢 Apache Flink...

2024-11-22 20:02:59 77

转载 FFA 2024「生产实践」专场:探索Flink在实际部署中的挑战与解决方案

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届。适逢 Apache Flink...

2024-11-21 20:01:18 191

转载 FFA 2024 「流批一体」专场:探索在不同场景的流批一体

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届。适逢 Apache Flink...

2024-11-20 20:03:02 299

转载 FFA 2024「数据集成」专场:聚焦实时技术在数据集成场景的价值与发展

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届。适逢 Apache Flink...

2024-11-19 20:00:52 145

转载 某省医保局集成Flink CDC YAML应用实践

本文作者为数新智能高级架构专家李斌松,曾在科大讯飞、阿里、同盾等公司负责过大数据平台的架构设计与实现。某省医保局项目对多地实时数据采集的要求较高,数新智能调研后确定Flink CDC YAML作业能够满足大部分的业务场景,研发团队结合Flink CDC YAML作业的相关特性,在社区版本基础上进行改造与优化,最终取得节省计算资源高达90%以上、数据实时同步达到秒级延迟的效果。01—项目背景某省医疗...

2024-11-15 20:03:03 68

转载 参与Flink社区活动,免费赢取FFA大会两日通票~

‍Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。值此 Apache Flink 诞生十周年之际,本届大会不仅将回顾 Flink 在过去十年间于技术革新与生态系统建设方面取得的重大成就,还将展望在当前 AI 时代背景下,未来十年内 Flink 的发展蓝图和战略规划。此...

2024-11-13 20:01:49 59

转载 FFA 2024 「核心技术」专场: Flink 核心技术动向深度解读

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届。适逢 Apache Flin...

2024-11-12 20:02:59 372

转载 FFA 2024 上海站|大会全议程正式上线!

Flink Forward Asia 2024 即将盛大开幕!作为 Apache Flink 社区备受期待的年度盛会之一,本届大会将于 11 月 29 至 30 日在上海隆重举行。Flink Forward Asia(简称 FFA)是由 Apache 官方授权的社区技术大会,旨在汇聚领先的行业实践与技术动态。在众多合作伙伴和技术开发者的支持下,FFA 已成功举办六届。适逢 Apache Flink...

2024-11-08 11:58:23 203

原创 实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎

摘要:本文整理自阿里云智能集团研究员、开源大数据平台负责人王峰(莫问)老师在云栖大会的开源大数据专场上的分享。主要有以下几个内容:1. Apache Flink 已经成为业界流计算事实标准2. Flash 向量化流计算引擎核心技术解读3. Flash 性能测试数据4. Flash在阿里集团的落地效果Tips:点击「阅读原文」跳转阿里云实时计算 Flink~今天给大家带来的分享是阿里云的开源大数据团...

2024-11-05 20:01:24 1597

转载 Paimon x StarRocks 助力喜马拉雅构建实时湖仓

摘要:本文整理自喜马拉雅数仓专家王琛老师在8月3日 Streaming Lakehouse Meetup Online(Paimon x StarRocks,共话实时湖仓架构)上的分享。将介绍喜马拉雅直播的业务现状及数据仓库架构的迭代升级,重点分享基于 Flink + Paimon + StarRocks 实现实时湖仓的架构及其成效。我们通过分钟级别的收入监控、实时榜单生成、流量监测和盈亏预警,大...

2024-10-31 20:02:22 94

原创 Apache Flink 2.0-preview released

Apache Flink 社区正在积极准备 Flink 2.0,这是自 Flink 1.0 发布 8 年以来的首次大版本发布。作为一个重要的里程碑,Flink 2.0 将引入许多激动人心的功能和改进,以及一些不兼容的破坏性变更。为了促进用户和上下游项目(例如,连接器)尽早适配这些变更,提前尝试这些令人兴奋的新功能同时收集反馈,我们现在提供了 Flink 2.0 的预览版本。Flink 2.0 预览版不是稳定版本,请不要应用于生产环境。

2024-10-24 16:56:15 1773

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除