记录一些doris 踩坑的记录。仅自己做笔记而已,不保证解决方式大家都适用。
1.Doris 采用 insert into 表 values 报错一堆:
解决:尽量不要用 insert into 表 values 这种方式去导入数据而是要用 insert into 表 select。。。。。
但是我的数据根本没有那么大,一次就几百条 所以 我就要用它。
导致如下错误:
tablet writer write failed, tablet_id=0000, txn_id=0000, err=-235 or -215
这个就是说 我们的 tablet的 数据版本 超过了最大限制(默认500),最后排查问题发现:是我代码逻辑 导致数据 循环插入了,也就是说我本来 300多条数据。变成了 300*300 条,它不断的循环,插入 ,更新,替换。导致版本超限。
排查方法:
doris 执行下列的命令:
show tablet tabletid(报错的那个)
在结果里面关注最后一列,输入它的内容再次查询
SHOW PROC ‘。。。。。。’; 这时候可以发现版本的数量了
解决方法:
1.优化自身的代码,将数据处理完全后,再进行入库
2.减少 插入频率,插入几条后,就停顿一下,不要频繁的插入
3.更换插入 方式, 先把数据存入到 kafka,hdfs 或者其他地方后,再进行 入库 doris
doris 多频率插入 最多只能存入 12天数据 优化(找到dor