doris导入报错问题集合

文章讨论了DorisSpark在导入数据时遇到的严格模式错误,提示因数据格式不符导致失败。解决方案包括修改数据类型或禁用enable_insert_strict。对于DorisJDBC导入速度慢的问题,建议启用rewriteBatchedStatements以实现批量写入。另外,文章指出DorisJDBC目前不支持查询超时设置,需在Doris内部调整,预计未来版本会增加此功能。
摘要由CSDN通过智能技术生成

doris spark 导入报错:

Insert has filtered data in strict mode, tracking_url

由于enable_insert_strict的默认值是false,当前执行 INSERT 语句时,有不符合目标表格式的数据,比如字符串超过字段类型等等,导入任务会直接报错。

解决办法

  1. 修改数据类型,比如varchar的长度

  2. set enable_insert_strict=false;只要有一条数据被正确导入,则返回成功。

doris jdbc导入过慢:

解决:jdbc url后增加?rewriteBatchedStatements=true

数据默认是单条写入,需要改成批量

doris jdbc 无法设置查询超时

queryTimeout=600&connectTimeout=5000&socketTimeout=5000 参数无效
解决:只能在doris里设置全局或会话,目前无法支持在jdbc上设置,官方明确表示在1.2.5版本中将会支持connection timeout。2.0版本或许会支持query设置。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值