Apache Paimon DDL 中的问题

        最近在学习Apache Paimon的Flink 引擎模式,在进行DDL测试操作时遇到了一下两个问题,从官网和某b中都没有找到答案,有没有大佬帮忙解决一下,在评论区留言下,万分感谢。

我这里使用的Flink版本是flink1.18.1、paimon版本是0.8.2、hive版本是3.1.3、hadoop版本是3.1.3

flink相关的jar包配置如下图

flink-conf-ymal配置如图,slot的格式配置为4

问题一、create table as 

Paimon支持cats这样的语法,可以一张表的schema和数据均复制到一张新表中

        我这里仿照官网创建了表my_table_1,并插入了两条测试数据,使用yarn-session模式在sql-client提交sql,几秒就执行完了

查看Flink的web-ui,执行很快:

        然后我执行了create table my_table_as as select * from my_table,在客户端提交,按理说资源的占用情况查询的Task个数都应该和上面一样,只是多了一部建表的步骤,但是表建好之后,flink作业就一直卡在running了,并且进度一致是0,一直跑了10来分钟也不懂,也没有报资源不足等错误,slot也是够用的,看了下hadoop也没有连接超时的状况,这是为啥。。按理说就两条数据,超过1分钟就不应该了吧。。。。

查看JM和TM的日志,都没有报错(资源不足,连接超时的情况),任务就是不执行

JobManager的日志

TaskManager的日志

可以看到都13min了还是啥也没干

看flink-sql-client的执行log也没动静

        终于等了十几分钟后 ,JM报错了,说没有找到那个容器下注册的TaskExecutor,查了下应该和本问题无关,属于web界面查看的日志状态的问题。

问题二、create table like

看Paimon官网和教程上也是支持create table like这种方法的,只会复制一份表的schema结构,而不会复制数据

        我这里仍然是直接复制了官网的语句,结果被告知这么写有问题,说我的hdfs文件路径重复了,我就手动指定了with里面的path,结果like后面又不支持这种语法。

        手动指定path,可能这么写不对,有大佬知道麻烦在评论区给出谢谢

Flink SQL> CREATE TABLE my_table_like LIKE my_table WITH (
>     'path' = 'hdfs://node001:8020/paimon/fs/default.db/my_table_like'
> );

好像是like后面不能跟with why?? 

上面就是最近学习flink集成paimon遇到的两个问题

后续

        问题一已解决,因为streaming作业的原因,Paimon要求streaming 模式需要开启checkpoint,我flink的配置文件ymal关于checkpoint的interval间隔格式有点问题,导致检查点没启动。

        

修改相关配置如下:

        重新提交任务,观察flink-ui,任务正常跑起来了,有数据读写,同时hdfs目录上也生成了checkpoint文件,查询新表也查出数据了。。难道Paimon要求这么严吗,我不设checkpoint任务就不执行,光占着资源也不报错也不执行,难不成在测试环境搞两条测试数据还得天天配checkpoint这些。

        第二个问题还没有解决。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值