org.apache.seatunnel.shade.com.typesafe.config.ConfigException$Parse

记录一个seatunnel的踩坑过程,使用环境为hive分区表导入click house中,首先查看官网的文档

在这里插入图片描述

说实话这段注释极其具有误导性,read_partitions = [par1=xxx, par1=yyy/par2=zzz], it is illegal,那么普通人首先第一想法肯定是[par1=xxx, par1=yyy]才是正确的,就和下面这样

source {
  Hive {
    table_name = "aisdata.ship_track_data"
    metastore_uri = "thrift://namenode2:9083"
    read_partitions = [dt="2023-05-01",dt="2023-05-02"]
  }
}

一运行,发现报错
在这里插入图片描述
看见错误代码,肯定是配置的问题,经过排查和网上搜索再加上不断试错,终于找到了正确的配置方法

source {
  Hive {
    table_name = "aisdata.ship_track_data"
    metastore_uri = "thrift://namenode2:9083"
    read_partitions = ["dt=2023-05-01","dt=2023-05-02"]
  }
}

看到这就明白了一个双引号里面是hive分区表的分区文件夹名,回过头才发现忽略了第一段英文Every partition in partitions list should have the same directory depth,瞬间无语

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值