paimon手动清除分区数据

流月up

已于 2023-10-27 11:10:26 修改

阅读量486

点赞数

文章标签： flink

于 2023-10-12 13:58:03 首次发布

本文链接：https://blog.csdn.net/2301_79691134/article/details/133789065

版权

本文介绍了如何在Paimon0.5版本（支持Flink1.17.1）的环境中，通过YARN会话启动FlinkSQL客户端，创建catalog连接Hivemetastore，然后以批处理模式执行数据插入操作，同时讨论了自动分区失效的设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境:paimon分区可以设置为自动失效,但官网也提供了手动方案,paimon 0.5版本只支持flink,本测试案例 flink 1.17.1 paimon 0.5,hive 3.1.2

在这里插入图片描述

案例

启动yarn-session

在这里插入图片描述

flink client操作

[root@ks2p-hadoop06 flink-1.17.1]# ./bin/yarn-session.sh 
# 连接yarn session
[root@ks2p-hadoop06 bin]# ./sql-client.sh

Flink SQL> CREATE CATALOG paimon_hive WITH (
>     'type' = 'paimon',
>     'metastore' = 'hive',
>     'uri' = 'thrift://xx.xx.xx.xx:9083',
>     'warehouse' = 'hdfs:///data/hive/warehouse/paimon',
>     'default-database'='test'
> );

# 改为批模式执行
Flink SQL> SET 'execution.runtime-mode' = 'batch';

Flink SQL> INSERT OVERWRITE test.student2 /*+ OPTIONS('dynamic-partition-overwrite'='false') */ PARTITION (dt = '2023-10-09') SELECT id,name,age,birthday  FROM test.student2 WHERE false;