Doris 使用踩坑记录

记录一些doris 踩坑的记录。仅自己做笔记而已,不保证解决方式大家都适用。

1.Doris 采用 insert into 表 values 报错一堆:

解决:尽量不要用 insert into 表 values 这种方式去导入数据而是要用 insert into 表 select。。。。。
但是我的数据根本没有那么大,一次就几百条 所以 我就要用它。

导致如下错误:
tablet writer write failed, tablet_id=0000, txn_id=0000, err=-235 or -215

这个就是说 我们的 tablet的 数据版本 超过了最大限制(默认500),最后排查问题发现:是我代码逻辑 导致数据 循环插入了,也就是说我本来 300多条数据。变成了 300*300 条,它不断的循环,插入 ,更新,替换。导致版本超限。

排查方法:
doris 执行下列的命令:
show tablet tabletid(报错的那个)
在结果里面关注最后一列,输入它的内容再次查询
SHOW PROC ‘。。。。。。’; 这时候可以发现版本的数量了

解决方法:
1.优化自身的代码,将数据处理完全后,再进行入库
2.减少 插入频率,插入几条后,就停顿一下,不要频繁的插入
3.更换插入 方式, 先把数据存入到 kafka,hdfs 或者其他地方后,再进行 入库 doris

doris 多频率插入 最多只能存入 12天数据 优化(找到dor

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值