记录一个seatunnel的踩坑过程,使用环境为hive分区表导入click house中,首先查看官网的文档
说实话这段注释极其具有误导性,read_partitions = [par1=xxx, par1=yyy/par2=zzz], it is illegal,那么普通人首先第一想法肯定是[par1=xxx, par1=yyy]才是正确的,就和下面这样
source {
Hive {
table_name = "aisdata.ship_track_data"
metastore_uri = "thrift://namenode2:9083"
read_partitions = [dt="2023-05-01",dt="2023-05-02"]
}
}
一运行,发现报错
看见错误代码,肯定是配置的问题,经过排查和网上搜索再加上不断试错,终于找到了正确的配置方法
source {
Hive {
table_name = "aisdata.ship_track_data"
metastore_uri = "thrift://namenode2:9083"
read_partitions = ["dt=2023-05-01","dt=2023-05-02"]
}
}
看到这就明白了一个双引号里面是hive分区表的分区文件夹名,回过头才发现忽略了第一段英文Every partition in partitions list should have the same directory depth,瞬间无语