集群规模:3 FE + 89 BE

本文档详细介绍了在集群规模为3 FE + 89 BE的情况下,Doris 1.1.2与0.13版本的性能对比。测试结果显示,Doris 1.1.2在单 SQL 串行查询中有3~5倍性能提升,但在批量 SQL 并发查询时性能下降,CPU 使用率仅达50%,且出现查询错误和内存拷贝耗时长的问题。文章还提出了调优实践以解决这些问题。
摘要由CSDN通过智能技术生成

两个集群配置完全相同,具体配置信息如下:

  • 集群规模:3 FE + 89 BE

  • BE 节点 CPU: Intel (R) Xeon (R) Silver 4216 CPU @ 2.10GHz 16 核 32 线程 × 2

  • BE 节点内存:256GB

  • BE 节点磁盘:7.3TB × 12 HDD

  1. 单 SQL 串行查询测试

在该测试场景中,我们选取了小米 A/B 实验场景中 7 个典型的查询 Case,针对每一个查询 Case,我们将扫描的数据时间范围分别限制为 1 天、7 天和 20 天进行查询测试,其中单日分区数据量级大约为 31 亿(数据量大约 2 TB),测试结果如图所示:

根据以上小米 A/B 实验场景下的单 SQL 串行查询测试结果所示,Doris 1.1.2 版本相比小米线上 Doris 0.13 版本至少有 3~5 倍的性能提升,效果显著,提升效果远高于预期。

  1. 批量 SQL 并发查询测试

在并发测试中,我们将小米 A/B 实验场景的查询 SQL 按照正常的业务并发分别提交到 Doris 1.1.2 测试集群和小米线上 Doris 0.13 集群,对比观察两个集群的状态和查询延迟。测试结果为,在完全相同的机器规模、机器配置和查询场景下,Doris 1.1.2 版本的查询延迟相比线上 Doris 0.13 版本整体上升了 1 倍,查询性能下降非常明显,另外,Doris 1.1.2 版本稳定性方面也存在比较严重的问题,查询过程中会有大量的查询报错。Dori

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值