Apache Flink的博客_CSDN博客-Flink,大数据,实时计算领域博主

原创 Hybrid Shuffle 测试分析和使用建议

摘要：Apache Flink 社区在 1.16 版本引入了 Hybrid Shuffle Mode[1]，它是传统的 Batch Shuffle 和 Pipelined Shuffle 的结合，让 Flink 批处理具备了更强大的能力。Hybrid Shuffle 的核心思想是打破调度约束，根据可用资源的情况来决定是否需要调度下游任务，同时在条件允许时支持全内存不落盘的数据传输。为了全面理解 ...

2023-05-26 20:01:26 415

转载电商行业实践专栏上线｜阿里巴巴风控实战如何解决大规模风控的技术难点？...

Flink-learning 学训平台第 4 期课程——电商行业实践专栏上线啦！本期专栏汇总电商行业实践的精华内容，深入了解阿里巴巴、聚水潭、京东、唯品会、字节跳动等知名企业建设经验，干货满满，希望这些真实的实践案例和经验能够帮助大家更好的理解和使用 Apache Flink，加速更多企业的实时化平台搭建和业务转型。Apache Flink 是 Apache 软件基金会的顶级项目，也是当下被广泛使...

2023-05-25 20:00:44 12

原创深入解读 Flink 1.17

摘要：本文整理自阿里云技术专家，Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 Meetup 的分享。

2023-05-24 20:01:41 306

转载流批一体架构在快手的实践和思考｜行业实践专栏上线

Flink-learning 学训平台和互娱行业实践专栏来啦！

2023-05-23 20:03:28 15

原创基于 Log 的通用增量 Checkpoint 在美团的进展

美团计算引擎工程师王非凡，在 Flink Forward Asia 2022 核心技术专场的分享。

2023-05-22 20:00:18 229

转载尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于 Apache Paimon 构建流批一体湖仓。

2023-05-16 20:00:58 55

原创 B 站构建实时数据湖的探索和实践

bilibili 大数据实时团队资深开发工程师周晖栋，在 Flink Forward Asia 2022 实时湖仓专场的分享。

2023-05-15 20:01:29 294

转载 Flink SQL 的数据脱敏解决方案

Flink SQL 的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。

2023-05-10 20:02:48 46

原创蚂蚁实时低代码研发和流批一体的应用实践

蚂蚁实时数仓架构师马年圣，在 Flink Forward Asia 2022 流批一体专场的分享。

2023-05-09 20:00:34 761

原创日常节省 30%计算资源：阿里云实时计算 Flink 自动调优实践

阿里云开发工程师，Apache Flink Contributor 钟旭阳，在 Flink Forward Asia 2022 生产实践的分享。

2023-05-08 20:01:19 427

原创 Hive SQL on Flink 构建流批一体引擎

阿里巴巴开发工程师罗宇侠、阿里巴巴开发工程师方盛凯，在 Flink Forward Asia 2022 流批一体专场的分享。

2023-05-05 20:03:38 425

转载巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

本文主要介绍巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。

2023-04-27 20:01:14 232

原创 Flink 2.0 启航，开启全新篇章

欢迎大家参加关于 Flink 2.0 的愿景、功能、时间表、流程、路线图等方面的讨论！

2023-04-26 20:00:14 1399

原创最佳实践｜如何写出简单高效的 Flink SQL？

阿里巴巴高级技术专家、Apache Flink PMC 贺小令，在 Flink Forward Asia 2022生产实践专场的分享。

2023-04-24 20:03:52 444

原创 Apache Flink ML 2.2.0 发布公告

Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.2.0 版本正式发布！

2023-04-21 20:01:52 338

原创 Flink CDC 在易车的应用实践

易车数据平台负责人王林红，在 Flink Forward Asia 2022 数据集成专场的分享。

2023-04-18 20:03:13 237

原创基于 Flink CDC 的现代数据栈实践

阿里云技术专家，Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江和阿里云高级研发工程师，Apache Flink Contributor & Flink CDC Maintainer 阮航，在 Flink Forward Asia 2022 数据集成专场的分享。

2023-04-17 20:01:52 441

转载 Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储

Flink-learning 学训平台第 2 期课程——Paimon 专题上线啦！

2023-04-13 20:03:34 813

原创 Flink CDC 在京东的探索与实践

京东资深技术专家韩飞，在 Flink Forward Asia 2022 数据集成专场的分享。

2023-04-11 20:03:01 400

原创 FLINK 在蚂蚁大规模金融场景的平台建设

蚂蚁集团高级技术专家、蚂蚁集团流计算平台负责人李志刚，在 Flink Forward Asia 2022 平台建设专场的分享。

2023-04-10 20:03:00 923

转载 Flink MongoDB CDC 在 XTransfer 的生产实践｜Flink CDC 专题

Flink-learning 学训平台和 Flink CDC 专题课程来啦！

2023-04-06 20:00:21 42

原创快手基于 Apache Flink 的实时数仓建设实践

快手实时数据开发工程师冯立，快手实时数据开发工程师羊艺超，在 Flink Forward Asia 2022 实时湖仓专场的分享。

2023-04-06 20:00:21 352

原创基于 Flink ML 搭建的智能运维算法服务及应用

本文整理自阿里云计算平台算法专家张颖莹，在 Flink Forward Asia 2022 AI 特征工程专场的分享。

2023-04-04 20:02:45 389

原创 Flink SQL 在美团实时数仓中的增强与实践

摘要：本文整理自美团数据系统研发工程师董剑辉&美团数据系统研发工程师张彬，在 Flink Forward Asia 2022 平台建设专场的分享。本篇内容主要分为五个部分：1. Flink SQL 在美团2. SQL 作业细粒度配置3. SQL 作业变更支持从状态恢复4. SQL 正确性问题排查能力建设5. 未来展望Tips：点击「阅读原文」查看原文...

2023-04-03 20:07:09 190

转载 Apache Paimon 在同程旅行的探索实践

摘要：本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。在同程旅行的业务场景下，通过使用 Paimon 替换 Hudi，实现了读写性能的大幅提升（写入性能3.3 倍，查询性能7.7倍），接下来将分为如下几个部分进行详细介绍：1. 湖仓场景现状和遇到的问题2. 遇见 Apache Paimon3.Apache Paimon 的应用实践4....

2023-03-30 20:00:04 296