A产品对比Doris进行clickbench性能测试报告

最新推荐文章于 2024-09-08 19:04:04 发布

syw_s

最新推荐文章于 2024-09-08 19:04:04 发布

阅读量496

点赞数

分类专栏：数据库测试文章标签：数据库

本文链接：https://blog.csdn.net/syw_s/article/details/130588543

版权

本文通过clickbench测试工具对比了A产品和Doris的查询性能。测试结果显示，在cold run和hot run情况下，Doris的性能均优于A产品，其hot run性能提升更显著。A产品在数据导入时遇到问题，使用了minio进行导入，因此未对比导入数据耗时。

摘要由CSDN通过智能技术生成

测试背景

利用clickhouse的clickbench测试数据与查询SQL对A产品进行了性能测试，所有的测试方法均与其他clickbench上的其他产品一致。预期将A产品的测试结果与其他数据库产品进行对比，寻找出性能差异，便于后期产品进行性能优化，并清楚当前A产品若打榜存在的优劣势。

测试环境

	类型	资源规格（CPU/MEM/DISK）	IP地址
A产品	RC	16C/24G/100G	192.168.32.40
	worker1	16C/64G/300G	192.168.32.41
	worker2	16C/64G/300G	192.168.32.42
Doris		16C/64G/500G
(1)clickbench上的打榜配置;
(2)cluster_size:1
具体的详情结果均可查看打榜平台

测试结论

Doris的查询性能总体优于A产品。详细的数据见下面分析：

注：Doris直接取的结果是clickbench打榜上的测试数据

	cold run总耗时(s)	hot run总耗时(s)
A产品	299.65	109.48
Doris	130.42	40.55

如上数据所示，Doris的hot run性能提升比A产品更明显。
1. 【A产品】hot run比cold run查询性能快2.73倍
2. 【Doris】hot run比cold run查询性能快3.21倍
无论是cold run还是hot run，Doris的性能均优于A产品
1. 【cold run】Doris比A产品快2.29倍
2. 【hot run】Doris比A产品快2.69倍
所有的导入数据需采用load data方式，由于A产品在load data数据导入中报错，此bug未解决，因此采用了minio的方式导入，由于A产品与Doris的导入方式不同，因此本次不进行导入数据的耗时对比。

【cold run】A产品对比Doris

在这里插入图片描述

【hot run对比】A产品对比Doris

在这里插入图片描述

测试流程

1、创建hits表：见create_table.sql
2、下载hit数据：https://datasets.clickhouse.com/hits_compatible/hits.csv.gz
3、对下载的数据进行处理
（1）总数据大小76G，切割文件为小文件：split -a3 -l 10000000 -d hits.csv ./hits/hits-