flink-connector-kudu_2.11的大坑，表格删不掉

最新推荐文章于 2024-08-07 09:33:40 发布

YingWR

最新推荐文章于 2024-08-07 09:33:40 发布

阅读量1k

点赞数

分类专栏： kudu 文章标签： flink

本文链接：https://blog.csdn.net/qq_33358554/article/details/118765101

版权

kudu 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

测试debezuim+kafka+flink+kudu。

用flink-connector-kudu_2.11 连接器，写入数据至kudu。

apache/bahir-flink连接器的开源地址 https://github.com/apache/bahir-flink.

尝试使用flink sql 将数据写入kudu，使用flink sql 删除表格。

问题出现了！！
进入impala client后，发现表格仍存在，drop table后，表格消失，但是当invalidate metadata table 后，表格再次出现。

查询kudu元数据，发现表格已经消失，但是hive元数据中表格仍存在。推测，这个连接器在删除表格时，只删除kudu元数据信息，使hive与kudu的元数据链接断开
·-------------------------------------------
经多次尝试后，找到解决方案，进入mysql，更改hive元数据，将内部表改为外部表，再次删除表格。刷新后，表格不再出现。

UPDATE TBLS
SET CREATE_TIME=1626249619, DB_ID=448182, LAST_ACCESS_TIME=0, OWNER='1', OWNER_TYPE='USER', RETENTION=0, SD_ID=,1 TBL_NAME='table', TBL_TYPE='EXTERNAL_TABLE', VIEW_EXPANDED_TEXT='', VIEW_ORIGINAL_TEXT=''
WHERE TBL_ID=1;