关于数据湖 Paimon，万字长文带你快速入门（上）

已于 2025-03-25 10:20:30 修改
阅读量941 收藏 18
点赞数 30
分类专栏： 数仓实践 文章标签： 大数据 数据库
于 2025-03-15 13:39:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BeiisBei/article/details/146330237
版权

点击上方 "云祁的数据江湖"关注, 星标一起成长

大家好，我是云祁！某大厂资深数据老兵。

1. 概述

我们用一句话来概括数据湖 Paimon 的话，Paimon 是一种湖格式，它支持使用 Flink 和 Spark 为流处理和批处理操作构建实时湖仓架构。它创新性地将 LSM Tree 与湖格式相结合，将实时流更新引入湖架构。

image.png

Apache Paimon （后简称 Paimon）起源于 Apache Flink （后简称 Flink）的一个子项目，起初它只是 Flink 内置的 Table Store 的一个格式，经过了几年的发展后，在 2024 年成功从 Apache 软件基金会（ASF）孵化器毕业，成为

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Paimon系列之：Flink集成Paimon
zhengzaifeidelushang的博客
03-13 1367
下面列出了所有可用的程序。您可以在 ./paimon-flink/paimon-flink-/target/paimon-flink--0.8-SNAPSHOT.jar 中找到捆绑的 jar，在 ./paimon- 中找到操作 jar flink/paimon-flink-action/target/paimon-flink-action-0.8-SNAPSHOT.jar。Paimon 任务可以基于执行器内存创建内存池，这些内存将由 Flink 执行器管理，例如 Flink 任务管理器中的托管内存。
2024年09月数据月报
SmartSi
10-13 674
2024年09月数据月报，为您准备了阿里、字节、百度等大厂120多篇实践案例
数据湖存储解决方案之Paimon
marui156的专栏
02-21 8041
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
数据湖的崛起：从大数据到智能未来的钥匙
最新发布
QQ_778132974的博客
03-28 908
数据湖，作为大数据时代的创新产物，正逐步成为企业数字化转型的核心引擎。它以其开放、灵活、可扩展的特性，为数据的深度挖掘和智能应用提供了无限可能。面对数据湖带来的挑战，企业需要建立健全的数据治理体系，不断优化技术栈，培养跨领域的人才队伍，以充分释放数据湖的潜力。在这个数据为王的时代，掌握数据湖，就是掌握了通往智能未来的钥匙，让我们共同期待数据湖引领的智能变革，开启一个更加数据驱动、智能高效的商业新时代。
数据湖之Paimon
youziguo的专栏
08-12 2073
Paimon 是一个针对流式数据湖的创新系统，它集成了流处理和数据湖存储的能力，旨在为大规模数据处理提供灵活、高效的解决方案。以下是对 Paimon 的详细介绍，涵盖从基本概念到实际应用的各个方面。
Paimon（数据湖框架）概述
一个大数据的爱好者
02-20 1114
Paimon（数据湖框架）概述
数据湖Paimon入门指南
m0_57320261的博客
02-04 2296
如果用户建表时指定'merge-engine' = 'partial-update'，那么就会使用部分更新表引擎，可以做到多个 Flink 流任务去更新同一张表，每条流任务只更新一张表的部分列，最终实现一行完整的数据的更新，对于需要拉宽表的业务场景，partial-update 非常适合此场景，而且构建宽表的操作也相对简单。这种方式的成本相对较高，同时官方不建议这样使用，因为下游任务在 State 中存储一份全量的数据，即每条数据以及其变更记录都需要保存在状态中。流式查询将不断产生最新的更改。
新一代开源流数据湖平台Apache Paimon入门实操-上
itxiaoshen博客
08-03 3665
本篇介绍一个强大的流数据湖平台，Flink官方开创，发展速度迅速，先了解其基本定义、适用场景和原理，然后基于yarn方式部署和测试，最后通过Catalog管理、创建表和修改多个示例了解基本使用
2023年12月数据月报
SmartSi
01-06 1835
2023年12月数据月报，为您准备了160多篇大厂实践案例
2023年08数据月报
SmartSi
08-27 276
2023年08月数据月报，为您准备了阿里、字节、百度等大厂80多篇实践案例。
2024年最新新一代数据湖存储技术Apache Paimon入门Demo(1)，面试官不讲武德
2401_84170391的博客
05-14 2664
Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。Paimon 以湖存储的方式基于分布式文件系统管理元数据，并采用开放的。
新一代数据湖存储技术Apache Paimon入门Demo(1)，2024年最新使用指南
2401_84181626的博客
04-15 1264
Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。Paimon 以湖存储的方式基于分布式文件系统管理元数据，并采用开放的。
新一代数据湖存储技术Apache Paimon入门Demo
热门推荐
Leonardo_KY的博客
05-22 1万+
新一代数据湖存储技术Apache Paimon（Flink Table Store）入门Demo，本文给出了一些简单的flink-paimon样例（example），可供快速学习上手（文中所有代码均已跑通）。
大数据组件(四)快速入门实时数据湖存储系统Apache Paimon(2)
qq_44665283的博客
02-19 1220
利用Paimon做维表join，集成Mysql CDC
2 快速上手使用Paimon数据湖
大数据技术博客
11-08 3193
想要使用Paimon是非常简单的，不需要复杂的安装部署，只需要使用一个jar包即可对它进行操作。目前Paimon主要提供的是SQL层面的API，所以我们在使用Flink操作Paimon的时候需要用到Flink SQL。
流数据湖平台Apache Paimon（一）概述
Maynor的博客
07-29 3293
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
踩坑完毕：手把手带你使用Flink尝鲜Paimon入门案例（强烈建议收藏）
遇码开源社区
03-14 2458
本文为大家讲解如何使用Flink完成Paimon官方的入门案例，建议大家收藏（对英文文档有恐惧感）。
Paimon数据湖详解（第49天）
syhiiu的博客
07-29 2204
本文主要详解了Paimon数据湖的使用。
1 快速了解Paimon数据湖核心原理及架构
大数据技术博客
11-08 2610
Apache Paimon的前身属于Flink的子项目：Flink Table Store。目前业内主流的数据湖存储项目都是面向批处理场景设计的，在数据更新处理时效上无法满足流式数据湖的需求，因此Flink社区在2022年的时候内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向流以及实时的数据湖存储项目。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值