大数据应用之 --- aphache doris VS clickhouse 基于ssb性能比对

大数据应用之 — aphache doris VS clickhouse 基于ssb性能比对

环境

apache doris：1.1
FE 1节点
BE 3节点

clickhouse：22.3
3个节点

笔记本虚拟的虚拟机：
本人笔记本比较强悍，64G/16线程CPU/1T ssd
每天虚拟机都是配置10G内存

测试过程

apache doris : 请见《大数据应用之 — apache doris 基于ssb测试》，
https://blog.csdn.net/qq_41187116/article/details/125814089?spm=1001.2014.3001.5502

clickhouse : 请见《大数据应用之 — clickhouse性能测试》，
https://blog.csdn.net/qq_41187116/article/details/125703557?spm=1001.2014.3001.5502

测试结果

db	p	1.1	1.2	1.3	2.1	2.2	2.3	3.1	3.2	3.3	3.4	4.1	4.2	4.3	5.1	5.2	6.1	6.2
doris1.0	1	0.68	0.12	0.78	4.47	2.69	2.07	4.10	3.99	1.76	0.11	5.97	1.48	1.13	58.79	5.43	xx	10.81
doris1.1	2	0.47	0.10	0.38	3.13	0.82	0.58	3.21	1.67	0.83	0.06	3.44	0.88	0.66	48.98	1.63	xx	6.23
doris1.1	2	1.00	0.14	0.73	6.28	0.94	0.66	3.79	2.58	0.75	0.08	4.1	0.96	0.66	36.52	1.08	xx	7.65
doris1.1	2	0.79	0.11	0.45	2.21	1.50	1.07	3.10	1.90	1.34	0.10	2.75	1.30	1.01	45.85	1.99	xx	9.25
向量关	avg	0.75	0.12	0.52	3.87	1.09	0.77	3.37	2.05	0.97	0.08	3.43	1.05	0.78	43.78	1.57	#DIV/0!	7.71
doris1.1	3	0.62	0.10	0.61	4.1	1.42	0.76	2.47	1.55	0.91	0.05	0.93	0.73	0.71	31.49	1.63	xx	6.57
doris1.1	3	0.62	0.12	0.56	4.32	1.40	0.74	2.89	1.68	0.92	0.05	3.02	0.75	0.95	32.74	1.70	xx	6.8
doris1.1	3	0.57	0.12	0.55	4.17	1.26	0.66	2.74	1.49	0.84	0.04	2.99	0.89	0.65	34.93	1.58	xx	6.3
向量开	avg	0.60	0.11	0.57	4.20	1.36	0.72	2.70	1.57	0.89	0.05	2.31	0.79	0.77	33.05	1.64	#DIV/0!	6.56
ck22.4.5.9	1	0.3	0.05	0.05	1.60	0.90	0.80	1.45	1.24	0.83	0.05	1.78	0.42	0.42	57.83	1.10	57.48	1.163
ck22.4.5.9	2	0.72	0.22	0.09	4.65	1.11	1.14	2.41	2.07	1.38	0.07	3.60	0.66	0.54	50.63	1.75	44.92	1.93
ck22.4.5.9	2	0.49	0.1	0.08	1.81	1.24	1.18	1.81	1.51	1.37	0.08	2.28	0.52	0.81	52.36	1.69	50.71	1.83
平均	avg	0.50	0.12	0.07	2.69	1.08	1.04	1.89	1.61	1.19	0.07	2.55	0.53	0.59	53.61	1.51	51.04	1.64
doris/ck	avg	1.20	0.92	8.14	1.56	1.26	0.69	1.43	0.98	0.75	0.71	0.91	1.49	1.31	0.62	1.09	#DIV/0!	4.00

宽表性能：上述第二列表示测试批次，p=2的为20220621测试，可以看出，doris1.1单表查询部分查询性能超越ck；

​ doris1.1性能要比doris1.0提升不少，目测30%

关联性能：doris只能半年一次进行关联，每半年时间大概100秒

​ ck可以整张表关联，总共1300秒

​ 所以，没有看到apache doris 的join的优势

去重计算：全表的话doris跑不出来（6.1），带过滤条件后能跑出来，但是时间是ck的3倍

奇怪的现象：ck在20220619和20220621两次测试的有些sql性能差距较大，可能是笔记本虚拟环境性能不稳定导致。

结论

apache 1.1开始，全面启用向量化存储和计算，性能有了极大的提升，基本可以与clickhouse 进行抗衡；
但是，对于去重计算，apache doris 还是跟clickhouse没法比，不在一个量级，希望，不就的将来，apache doris 能够全面超越 clickhouse，期待。。。