Doris 1.2.1问题总结
- 环境依赖
Doris 1.2.1目前仅支持JDK1.8,建议使用压缩包中官网提供的JDK环境,JDK版本的不适配会导致BE节点不稳定,JVM异常出现宕机的情况。
二、Doris环境配置
1.Doris表创建
Oracel中的number数据类型,建议使用Doris的DECIMALV3映射。
NUMBER(*,0) => DECIMALV3(38,0)
NUMBER => DECIMALV3(38,20)
DATE => DATATIMEV2
Doris中的DATATIMEV2最多支持6位小数(微秒),不设置时为0。依据数据源中的数据精度配置即可。
当前版本中Doris表中映射的字段精度小于源数据时,抽取数据源数据写入Doris中,会出现BE节点宕机问题。
2.Doris查询时内存不够
BE节点内存查询上限默认是2GB,可通过手动指定当前查询的内存上限。
set exec_mem_limit=32GB |
3.数据写入优化配置
BE配置
streaming_load_max_mb
Stream load 的最大导入大小,默认为10G,单位是MB。如果用户的原始文件超过这个值,则需要调整 BE 的参数 streaming_load_max_mb。
4.Join查询异常
当前版本中join(inner join)使用时会出现数据查询不一致问题,强烈建议使用left join替换join操作。