![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
paimon
文章平均质量分 91
设计Paimon数据湖相关的原理、实战内容。
大数据徐葳
大数据技术博客
展开
-
6 Hive引擎集成Apache Paimon
想要在Hive中操作Paimon,首先需要在Hive中配置Paimon的依赖,此时我们需要用到一个jar包:paimon-hive-connector。原创 2023-11-10 12:01:29 · 1790 阅读 · 0 评论 -
5 Paimon数据湖之表数据查询详解
主要涉及Paimon中系统表的查询、批量读取、流式读取,以及时间旅行特性的使用。原创 2023-11-10 11:54:16 · 2201 阅读 · 0 评论 -
4 Paimon数据湖之Hive Catalog的使用
Paimon提供了两种类型的Catalog:Filesystem Catalog和Hive Catalog。原创 2023-11-10 11:46:41 · 1733 阅读 · 1 评论 -
3 Paimon数据湖中的表类型详解
Paimon中支持多种表类型,从全局维度来看,Paimon中的表类型可以大致划分为4种:内部表、外部表、分区表和临时表。从存储维度来看,Paimon中的表可以分为两种:Primary Key表,也可以称之为主键表。Append Only表,也可以称之为仅追加表。原创 2023-11-08 10:35:12 · 5457 阅读 · 0 评论 -
2 快速上手使用Paimon数据湖
想要使用Paimon是非常简单的,不需要复杂的安装部署,只需要使用一个jar包即可对它进行操作。目前Paimon主要提供的是SQL层面的API,所以我们在使用Flink操作Paimon的时候需要用到Flink SQL。原创 2023-11-08 10:16:31 · 1803 阅读 · 0 评论 -
1 快速了解Paimon数据湖核心原理及架构
Apache Paimon的前身属于Flink的子项目:Flink Table Store。目前业内主流的数据湖存储项目都是面向批处理场景设计的,在数据更新处理时效上无法满足流式数据湖的需求,因此Flink社区在2022年的时候内部孵化了 Flink Table Store (简称 FTS )子项目,一个真正面向流以及实时的数据湖存储项目。原创 2023-11-08 10:02:23 · 1894 阅读 · 0 评论