3 Paimon数据湖中的表类型详解_paimon表和hive区别，2024年最新大数据开发面试笔试题目

最新推荐文章于 2024-08-22 09:28:14 发布
最新推荐文章于 2024-08-22 09:28:14 发布
阅读量917 收藏 9
点赞数 25
分类专栏： 程序员 文章标签： 大数据 hive 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84141410/article/details/137701431
版权 


> 
> 注意：此时表名需要使用`user2`，而不是`paimon_external_user2`！！！
> 
> 
> 


因为`paimon_external_user2`这个表名是存储在Flink SQL中`默认的基于内存的catalog`中，当任务执行结束之后，`paimon_external_user2`这个表名就不存在了。  
 最终`Paimon`中存储的表名是`user2`，这个表名来源于path路径中的名称。


执行修改后的代码`FlinkSQLReadFromPaimon`，可以看到如下结果：

±—±-------------------------------±------------+
| op | name | age |
±—±-------------------------------±------------+
| +I | jack | 18 |


注意：此时我们是以内部表的形式读取的数据。


#### 3.1.3 分区表


Paimon中的分区表和Hive中的分区表的功能类似，主要也是为了提高查询效率。


分区表中的分区字段可以支持`1个`或者`多个`。



> 
> 注意：如果表中定义了主键，分区字段则必须是主键的子集。
> 
> 
> 


Paimon分区表的建表语句是这样的：

CREATE TABLE Partition_Table (
id INT,
name STRING,
dt STRING,
hh STRING,
PRIMARY KEY (id, dt, hh) NOT ENFORCED
) PARTITIONED BY (dt, hh) WITH(
…
)


核心语法是`PARTITIONED BY (....)`


下面我们来通过具体的案例来演示一下Paimon分区表的使用。


首先来看一下如何在Flink SQL中向Paimon分区表中写入数据。


创建object：`FlinkSQLWritePaimonPartitionTable`


代码如下：

package tech.xuwei.paimon.tabletype

import org.apache.flink.api.common.RuntimeExecutionMode
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

/**

  • 使用FlinkSQL向Paimon分区表中写入数据

  • Created by xuwei
    */
    object FlinkSQLWritePaimonPartitionTable {
    def main(args: Array[String]): Unit = {
    //获取执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setRuntimeMode(RuntimeExecutionMode.STREAMING)
    val tEnv = StreamTableEnvironment.create(env)

    //创建Paimon类型的Catalog
    tEnv.executeSql(
    “”"
    |CREATE CATALOG paimon_catalog WITH (
    | ‘type’=‘paimon’,
    | ‘warehouse’=‘hdfs://bigdata01:9000/paimon’
    |)
    |“”".stripMargin)
    tEnv.executeSql(“USE CATALOG paimon_catalog”)

    //创建Paimon分区表
    tEnv.executeSql(
    “”"
    |CREATE TABLE IF NOT EXISTS user_par (
    | id INT,
    | name STRING,
    | dt STRING,
    | hh STRING,
    | PRIMARY KEY (id, dt, hh) NOT ENFORCED
    |) PARTITIONED BY (dt, hh)
    |“”".stripMargin)

    //向Paimon分区表中写入数据
    tEnv.executeSql(
    “”"
    |INSERT INTO user_par(id,name,dt,hh)
    |VALUES (1,‘jack’,‘20230101’,‘10’),(2,‘tom’,‘20230101’,‘11’)
    |“”".stripMargin)

}

}


执行代码。


此时到hdfs中可以看到这个表的底层数据是按照分区字段作为目录名称来存储的。

[root@bigdata04 ~]# hdfs dfs -ls /paimon/default.db/user_par/dt=20230101
Found 4 items
drwxr-xr-x - yehua supergroup 0 2028-11-28 17:08 /paimon/default.db/user_par/dt=20230101/hh=10
drwxr-xr-x - yehua supergroup 0 2028-11-28 17:08 /paimon/default.db/user_par/dt=20230101/hh=11


接下来我们来看一下如何在Flink SQL中从Paimon分区表中读取数据。  
 其实读取数据这一块是没什么特殊之处的，不管是内部表、外部表还是分区表。


只是针对分区表，如果想要提高查询效率，则需要在where子句中指定分区字段。


创建object：`FlinkSQLReadPaimonPartitionTable`


代码如下：

package tech.xuwei.paimon.tabletype

import org.apache.flink.api.common.RuntimeExecutionMode
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

/**

  • 使用FlinkSQL从Paimon分区表中读取数据

  • Created by xuwei
    */
    object FlinkSQLReadPaimonPartitionTable {
    def main(args: Array[String]): Unit = {
    //获取执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setRuntimeMode(RuntimeExecutionMode.STREAMING)
    val tEnv = StreamTableEnvironment.create(env)

    //创建Paimon类型的Catalog
    tEnv.executeSql(
    “”"
    |CREATE CATALOG paimon_catalog WITH (
    | ‘type’=‘paimon’,
    | ‘warehouse’=‘hdfs://bigdata01:9000/paimon’
    |)
    |“”".stripMargin)
    tEnv.executeSql(“USE CATALOG paimon_catalog”)

    //执行查询，并且打印输出结果
    tEnv.executeSql(
    “”"
    |SELECT
    | *
    |FROM paimon_catalog.default.user_par
    |WHERE dt = ‘20230101’ AND hh in (‘10’,‘11’)
    |“”".stripMargin)
    .print()

}

}


执行代码，可以看到如下结果：

±—±------------±-------------------------------±-------------------------------±-------------------------------+
| op | id | name | dt | hh |
±—±------------±-------------------------------±-------------------------------±-------------------------------+
| +I | 1 | jack | 20230101 | 10 |
| +I | 2 | tom | 20230101 | 11 |


这就是Paimon分区表的使用了。


#### 3.1.4 临时表


最后我们来看一下临时表，前面我们已经用过临时表了。


临时表是由`Paimon Catalog`临时进行记录，但是不由它管理。删除临时表时也不会删除表中的数据文件。


也就是说这个临时表的元数据信息只会临时存储在`Paimon Catalog`里面，当Flink SQL任务执行结束之后，这个临时表的元数据信息就会被删除了。



> 
> 注意：其实这个临时表的特性是Flink SQL提供的，所以目前只能在Flink SQL中使用临时表。
> 
> 
> 


临时表的典型应用场景是这样的，就是我们想要在`Paimon Catalog`里面使用`其他类型`的表。  
 因为在Paimon Catalog里面定义表的时候是不允许指定connector属性的，所以说如果我们想要通过connector指定kafka或者其他类型的数据存储系统，就需要定义临时表了。


下面我们来看一个例子，加深我们对临时表应用场景的理解：


首先我们创建了Paimon Catalog，并且进入了这个Catalog里面。

CREATE CATALOG paimon_catalog WITH (
‘type’ = ‘paimon’,
‘warehouse’ = ‘hdfs:///path/to/warehouse’
);

USE CATALOG paimon_catalog;


然后我们在Paimon Catalog里面创建了两个表：`t1`和`t2`。

CREATE TABLE t1(…) WITH (…);

CREATE TEMPORARY TABLE t2(
id INT,
name STRING
) WITH (
‘connector’ = ‘filesystem’,
‘path’ = ‘hdfs://…/data.json’,
‘format’ = ‘json’
);


注意：t1是Paimon类型的表。t2是临时表。


t2表中的数据来源于hdfs中的json数据文件，所以此时我们在Paimon Catalog里面创建t2表的时候就需要使用临时表了，因为我们需要通过connector指定数据的存储位置为filesystem。  
 如果不使用临时表，在Paimon Catalog里面创建t2的时候就不能使用connector属性了。


最后就可以在Paimon Catalog里面直接操作这两个表了。

SELECT t1.id,t2.name,t1.age FROM t1 JOIN t2 ON t1.id = t2.id;


如果我不想使用临时表，但是还想实现这个需求，应该怎么做呢？


其实也很简单，我们只需要在默认的`default catalog`里面创建表`t2`即可。


但是需要注意，后续我们在同时使用表`t1`和`t2`的时候，就需要指定表的完整名称了。  
 类似于`FlinkSQLWriteToPaimon`这个案例。

//向目的地表中写入数据
tEnv.executeSql(
“”"
|INSERT INTO paimon_catalog.default.wc_sink_sql
|SELECT
| word,
| COUNT(*) as cnt
|FROM default_catalog.default_database.word_source
|GROUP BY word
|“”".stripMargin).print()


* 如果是在paimon catalog里面执行这个SQL，则需要给`word_source`这个表指定完整名称。
* 如果是在的default catalog里面执行这个SQL，则需要给`wc_sink_sql`这个表指定完整名称。


这就是临时表的典型应用场景。


### 3.2 存储维度


从存储维度来看，Paimon中的表可以分为两种：


* `Primary Key`表，也可以称之为主键表。
* `Append Only`表，也可以称之为仅追加表。


这两种表其实很好区分，如果表中定义的有主键字段，则是主键表；如果表中没有定义主键字段，则是仅追加表。


下面我们来详细分析一下。


#### 3.2.1 Primary Key表(主键表)


主键表中包含主键字段，可以支持新增、更新和删除表中的数据。



> 
> 注意：主键可以由一个或者多个字段组成。
> 
> 
> 


主键表其实我们前面已经使用过了，就是在建表语句中通过`PRIMARY KEY`来指定主键字段。


主键表中还包含了多个高级特性：


* Bucket
* Changelog Producers
* Merge Engines
* Sequence Field


下面我们来具体看一下这些高级特性。


##### 3.2.1.1 Bucket


Bucket：可以翻译为桶。


Bucket是表中数据读写的最小存储单元，所以Bucket的数量限制了读写的并行度，最终会影响读写性能，每个Bucket目录内部会包含一棵LSM树。



> 
> 注意：LSM树是一种数据结构，Paimon采用了LSM树作为其文件存储的数据结构。
> 
> 
> 


主键表目前支持两种`Bucket mode`(模式)：


* 1：`Fixed Bucket mode`：属于固定Bucket数量模式，也就是需要我们手工指定Bucket的数量。我们在建表时默认使用的就是这种模式，Bucket参数的值默认为1。我们只需要给Bucket设置一个大于0的数值即可。但是需要注意：Bucket数量过大会导致小文件过多，影响读取性能；Bucket数量过小会影响写入性能。一般情况下，每个Bucket中的数据量推荐为1G左右。
* 2：`Dynamic Bucket mode`：属于动态Bucket数量模式，也就是说Bucket的数量是动态变化的。此时我们需要在建表时指定`'bucket' = '-1'`，此时会由Paimon动态维护索引，将每个Bucket中的数据条数控制在2000000(2百万)以下，这个数值是由`dynamic-bucket.target-row-num`这个参数控制的。但是需要注意，目前这种模式属于实验性质，暂时不建议在生产环境下使用。


下面我们通过一个案例来具体感受一下Bucket。


创建package：`tech.xuwei.paimon.bucket`  
 创建object：`BucketDemo`


代码如下：

package tech.xuwei.paimon.bucket

import org.apache.flink.api.common.RuntimeExecutionMode
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

/**

  • 验证Bucket特性

  • Created by xuwei
    */
    object BucketDemo {
    def main(args: Array[String]): Unit = {
    //创建执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setRuntimeMode(RuntimeExecutionMode.STREAMING)
    val tEnv = StreamTableEnvironment.create(env)

    //创建Paimon类型的Catalog
    tEnv.executeSql(
    “”"
    |CREATE CATALOG paimon_catalog WITH (
    | ‘type’=‘paimon’,
    | ‘warehouse’=‘hdfs://bigdata01:9000/paimon’
    |)
    |“”".stripMargin)
    tEnv.executeSql(“USE CATALOG paimon_catalog”)

    //创建Paimon表
    tEnv.executeSql(
    “”"
    |CREATE TABLE IF NOT EXISTS bucket_test (
    | word STRING,
    | cnt BIGINT,
    | PRIMARY KEY (word) NOT ENFORCED
    |)WITH(
    | ‘bucket’ = ‘2’ – 手工指定bucket的值，默认为1
    |)
    |“”".stripMargin)

    //查看最完整的建表语句
    tEnv.executeSql(“SHOW CREATE TABLE bucket_test”).print()

    //向表中添加数据
    tEnv.executeSql(
    “”"
    |INSERT INTO bucket_test(word,cnt)
    |VALUES(‘a’,1) , (‘b’,2) , (‘c’,1) , (‘d’,3)
    |“”".stripMargin)

}

}


执行代码，可以看到输出的完整建表语句信息：

CREATE TABLE paimon_catalog.default.bucket_test (
word VARCHAR(2147483647) NOT NULL,
cnt BIGINT,
CONSTRAINT 53dc473d-3e56-4e13-ac8b-a4f3c9abb72b PRIMARY KEY (word) NOT ENFORCED
) WITH (
‘bucket’ = ‘2’,
‘path’ = ‘hdfs://bigdata01:9000/paimon/default.db/bucket_test’
)


接下来我们到hdfs中查看一个这个表的Bucket信息：

[root@bigdata04 ~]# hdfs dfs -ls /paimon/default.db/bucket_test
Found 5 items
drwxr-xr-x - yehua supergroup 0 2028-11-29 17:54 /paimon/default.db/bucket_test/bucket-0
drwxr-xr-x - yehua supergroup 0 2028-11-29 17:54 /paimon/default.db/bucket_test/bucket-1
drwxr-xr-x - yehua supergroup 0 2028-11-29 17:54 /paimon/default.db/bucket_test/manifest
drwxr-xr-x - yehua supergroup 0 2028-11-29 17:54 /paimon/default.db/bucket_test/schema
drwxr-xr-x - yehua supergroup 0 2028-11-29 17:54 /paimon/default.db/bucket_test/snapshot


此时可以看到，这个表中包含2个bucket目录，这两个bucket目录中存储的就是这个表中的所有数据。


bucket目录内部都是一些data数据文件，里面就是真实的数据内容了：

[root@bigdata04 ~]# hdfs dfs -ls /paimon/default.db/bucket_test/bucket-0
Found 1 items
-rw-r–r-- 3 yehua supergroup 545 2028-11-29 17:54 /paimon/default.db/bucket_test/bucket-0/data-8475e141-1725-489f-bd09-13606fd2302f-0.orc


咱们之前创建的表没有手工指定bucket，那么bucket默认为1，可以到表wc\_sink\_sql里面看一下，这个表里面存储了多条数据，但是只有1个bucket：

[root@bigdata04 ~]# hdfs dfs -ls /paimon/default.db/wc_sink_sql
Found 4 items
drwxr-xr-x - yehua supergroup 0 2028-11-29 11:53 /paimon/default.db/wc_sink_sql/bucket-0
drwxr-xr-x - yehua supergroup 0 2028-11-29 11:53 /paimon/default.db/wc_sink_sql/manifest
drwxr-xr-x - yehua supergroup 0 2028-11-29 11:44 /paim

最低0.47元/天 解锁文章
2401_84141410
关注
专栏目录
3 Paimon数据湖中的表类型详解_paimon表和hive区别
2401_84141410的博客
04-08 335
引擎只会保留相同主键最新的数据。
2024年最全3 Paimon数据湖中的表类型详解_paimon表和hive区别(1)，2024年最新大数据开发开发全套学习
2401_84166965的博客
05-05 702
-- /*+ OPTIONS(‘scan.mode’=‘from-snapshot’,‘scan.snapshot-id’ = ‘1’) */ – 通过动态表选项来指定数据读取(扫描)模式，以及从哪里开始读取。|-- /*+ OPTIONS(‘scan.mode’=‘from-snapshot’,‘scan.snapshot-id’ = ‘1’) */ – 通过动态表选项来指定数据读取(扫描)模式，以及从哪里开始读取。
数据湖之Paimon
youziguo的专栏
08-12 1650
Paimon 是一个针对流式数据湖的创新系统，它集成了流处理和数据湖存储的能力，旨在为大规模数据处理提供灵活、高效的解决方案。以下是对 Paimon 的详细介绍，涵盖从基本概念到实际应用的各个方面。
大数据最全3 Paimon数据湖中的表类型详解_paimon表和hive区别，2024一位大数据开发中级程序员的跳槽面经
2401_84184729的博客
05-07 867
接下来我们来看一下如何在Flink SQL中向Paimon外部表写入数据。执行代码。然后复制一份代码到tabletype包下面。修改里面读取的表名，改为user2。注意：此时表名需要使用user2，而不是！！！因为这个表名是存储在Flink SQL中中，当任务执行结束之后，这个表名就不存在了。最终Paimon中存储的表名是user2，这个表名来源于path路径中的名称。执行修改后的代码注意：此时我们是以内部表的形式读取的数据。
3 Paimon数据湖中的表类型详解
大数据技术博客
11-08 5529
Paimon中支持多种表类型，从全局维度来看，Paimon中的表类型可以大致划分为4种： 内部表、外部表、分区表和临时表。从存储维度来看，Paimon中的表可以分为两种：Primary Key表，也可以称之为主键表。Append Only表，也可以称之为仅追加表。
数据湖存储解决方案之Paimon
marui156的专栏
02-21 3394
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
3 Paimon数据湖中的表类型详解_paimon表和hive区别(1)
2401_84141410的博客
04-08 475
接下来先运行。
数据湖三剑客Delt Lake、Hudi、Iceberg详解
cblock1的博客
08-10 1153
数据湖三剑客Delt Lake、Hudi、Iceberg
paimon实战-- paimon表类型和数据合并方式
最新发布
阿华田的博客
08-22 863
Paimon仅支持主键表和Append Only表。由于主键表需要按照主键更新，且要满足各种场景的数据更新，因此针对主键表piamon又提供的表的数据合并引擎。Paimon主键表创建Paimon表时指定了主键（primary key），则该表即为Paimon主键表。语法结构例如，创建一张分区键为dt，主键为dt、shop_id和user_id，分桶数固定为4的Paimon主键表。dt STRING,Paimon主键表中每行数据的主键值各不相同，如果将多条具有相同主键的数据写入Paimon主键表，将根据。
流数据湖平台Apache Paimon（一）概述
Maynor的博客
07-29 3150
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
新一代数据湖存储技术Apache Paimon入门Demo
热门推荐
Leonardo_KY的博客
05-22 1万+
新一代数据湖存储技术Apache Paimon（Flink Table Store）入门Demo，本文给出了一些简单的flink-paimon样例（example），可供快速学习上手（文中所有代码均已跑通）。
数据湖Paimon入门指南
m0_57320261的博客
02-04 1522
如果用户建表时指定'merge-engine' = 'partial-update'，那么就会使用部分更新表引擎，可以做到多个 Flink 流任务去更新同一张表，每条流任务只更新一张表的部分列，最终实现一行完整的数据的更新，对于需要拉宽表的业务场景，partial-update 非常适合此场景，而且构建宽表的操作也相对简单。这种方式的成本相对较高，同时官方不建议这样使用，因为下游任务在 State 中存储一份全量的数据，即每条数据以及其变更记录都需要保存在状态中。流式查询将不断产生最新的更改。
最全3 Paimon数据湖中的表类型详解_paimon表和hive区别，社招面试心得
2401_84164576的博客
05-16 454
-- /*+ OPTIONS(‘scan.mode’=‘from-snapshot’,‘scan.snapshot-id’ = ‘1’) */ – 通过动态表选项来指定数据读取(扫描)模式，以及从哪里开始读取。|-- /*+ OPTIONS(‘scan.mode’=‘from-snapshot’,‘scan.snapshot-id’ = ‘1’) */ – 通过动态表选项来指定数据读取(扫描)模式，以及从哪里开始读取。|-- 注意：这里的表名使用反引号进行转义，否则会导致SQL DDL语句解析失败。
1 快速了解Paimon数据湖核心原理及架构
大数据技术博客
11-08 1997
Apache Paimon的前身属于Flink的子项目：Flink Table Store。目前业内主流的数据湖存储项目都是面向批处理场景设计的，在数据更新处理时效上无法满足流式数据湖的需求，因此Flink社区在2022年的时候内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向流以及实时的数据湖存储项目。
Apache Paimon 使用之 Creating Table
猫猫爱吃小鱼粮
03-06 1719
Apache Paimon 使用之 Creating Table
Apache Paimon 主键表解析
猫猫爱吃小鱼粮
02-27 2008
Apache Paimon 主键表解析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值