说明:
使用DORIS-SQL过程中,问题BUG对应的版本记录
不同版本可能有相同问题,相同问题也可能会在新的版本已经修复掉,遇到可以参考问题原因定位
持续更新...
正文:
version:selectdb-doris-1.2.4-0-562c68d
错误结果:服务宕机
sql:
SELECT FIELD("c", "a", "b", "c", "d", "e");
问题:
由于当前版本没有这个sql函数,会导致,对应的执行sql的BE挂掉
错误结果:数据写入失败
sql:
drop table if exists table_name;
create table if not exists table_name (
) ENGINE=OLAP
UNIQUE KEY()
COMMENT ""
DISTRIBUTED BY HASH() BUCKETS 10
PROPERTIES ("enable_unique_key_merge_on_write" = "true"
);
问题:
在建表时开启写合并后,发现 当数据量过大时,会有数据写入失败的情况(sql执行成功,但实际没有数据写入),测试数据量在900w+
错误结果:数据查询时显示数据异常
sql:
-- 建表语句demo
-- Duplicate KEY数据模型下,
-- 分桶列存在,一列非空,另外一列为空数据
ENGINE=OLAP
Duplicate KEY(`aaa`, `bbb`,`ccc`, `ddd`,`eee`,`fff`,`ggg`,`hhh`)
COMMENT ""
DISTRIBUTED BY HASH(`aaa`, `bbb`,`ccc`, `ddd`,`eee`,`fff`,`ggg`,`hhh`) BUCKETS 10
PROPERTIES (
"replication_num" = "3"
);
问题:
在分桶列中存在,一列非空,另外一列为空的数据时,每次查询的数据的结果可能不同。在数据未发生变化的情况,根据某个主键查询数据,出现有时数据可以查询到,有时数据无法查询到。
这种场景会在
insert into table
select NULL as aaa,xxx as bbb from table1
union all
select xxx as aaa,NULL as bbb from table2
中可能出现
猜测:
部分列为空导致 hash后数据写入异常。
解决方式:
避免Duplicate KEY中key值中存在部分列为空的字段大量存在,分桶列中也减少部分key列为空。
错误结果:表中a列存在等于X的值,但是当执行a="x",无法查询到
sql:
select * from tab1 where a ="X"
猜测:
数据分布式存储,为加速数据查询命中,在不同机器查询优化的hash值可能不一样,导致无法命中。
解决方式:
在对列进行二次处理,比如使用like 代替 "=",或者对列使用一些不改变原值的函数处理,如trim。
select * from tab1 where trim(a) ="X";
select * from tab1 where a like "%X%";
备注:这个问题在1.x多个版本中复现;多出现在varchar类型;使用字段关联时也可能会出现;在某个表出现后,使用这个表的数据做二次处理后写入的表,也可能会出现。造成原因未定位到。
version:1.1.4-rc01-Unknown
错误结果:服务宕机
sql:
## 当a列中的值都为NULL时
select a,count(1) from tab1 group by a
问题:
当a列中的值都为NULL时,会导致对应执行sql的BE宕机。如果发现执行 group by-后,发现be宕机,可以优先检查聚合列的数据情况