Paimon学习必读系列
文章平均质量分 94
Paimon学习从基础概念,核心原理到实战遇到的问题,持续更新中
阿华田512
今天最好的表现,是明天最低的要求!!!
展开
-
paimon实战-- paimon表类型和数据合并方式
Paimon仅支持主键表和Append Only表。由于主键表需要按照主键更新,且要满足各种场景的数据更新,因此针对主键表piamon又提供的表的数据合并引擎。Paimon主键表创建Paimon表时指定了主键(primary key),则该表即为Paimon主键表。语法结构例如,创建一张分区键为dt,主键为dt、shop_id和user_id,分桶数固定为4的Paimon主键表。dt STRING,Paimon主键表中每行数据的主键值各不相同,如果将多条具有相同主键的数据写入Paimon主键表,将根据。原创 2024-08-22 09:28:14 · 865 阅读 · 0 评论 -
paimon实战 --核心原理和Flink应用进阶
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合,推出新一代的 Streaming Lakehouse 技术,促进数据在数据湖上真正实时流动起来,并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store (简称 FTS )子项目,一个真正面向 Streaming 以及 Realtime的数据湖存储项目。原创 2024-05-15 15:15:38 · 632 阅读 · 0 评论 -
Paimon实战 -- paimon系统表与审计监控
paimon系统表按照元数据的分类,划分了如下10个系统表,通过系统表可以获取paimon表各维度的元数据和消费组信息。通过收集这些元信息,不仅可以排查问题使用,还可以构建统一的paimon元数据管理和消费组管理平台,比如paimon-web就是通过查询系统表来实现表的元数据管理和展示的,本文将详细介绍各系统表的含义和用途。原创 2024-08-18 08:36:20 · 1060 阅读 · 0 评论 -
Paimon实战 -- paimon原理解析
Apache Paimon 原名 Flink Table Store,2022年1月在 Apache Flink 社区从零开始研发,Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合,促进数据在数据湖上真正实时流动起来,并为用户提供实时离线一体化的开发体验。原创 2024-08-16 09:46:10 · 1030 阅读 · 0 评论