clickhouse性能评测

已于 2023-02-21 10:33:17 修改
阅读量833 收藏 2
点赞数
分类专栏： 大数据 文章标签： clickhouse Powered by 金山文档
于 2023-02-21 10:29:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anguoan/article/details/129137454
版权

一. 目的

测试 clickhouse在OLAP 场景的可行性， 这里着重关注 复杂关联的场景。

二. 环境说明

服务器名

内存

逻辑核

存储

版本

说明

cdh01

15G, 可用1~2G

4

980G

20.5.2

当前最新版

cdh02

15G, 可用1~2G

4

980G

20.5.2

当前最新版

三.创建表结构

1.索引不合理

CREATE TABLE dwd.flow_analysis_collect_detail_6 ON CLUSTER cluster_work \
( `dataTime` DateTime64(3, 'Asia/Shanghai'),\
`event` String,\
`user_id` String,\
`did` String,\
`loc` String,\
`city` String,\
`province` String,\
`country` String,\
`ip` String,\
`app_ver` String,\
`channel` String,\
`net` String,\
`tm_s` String,\
`model` String,\
`brand` String,\
`client_type` String,\
`appnm` String,\
`isNewUser` Int32,\
`eventTimes_sum` Int32,\
`activeRate_defined` Int32,\
`uv_count_distinct` Int32,\
`avgTimes_avg` Int32,\
`city_name` String \
)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/flow_analysis_collect_detail_6','{replica}' ) \
PARTITION BY (toYYYYMMDD(dataTime),toHour(dataTime)) \
ORDER BY (toYYYYMMDD(dataTime),event) \
SAMPLE BY (toYYYYMMDD(dataTime),event) SETTINGS index_granularity = 8192;

2.索引稍稍优化

CREATE TABLE dwd.flow_analysis_collect_detail_7 ON CLUSTER cluster_work \
( `dataTime` DateTime64(3, 'Asia/Shanghai'),\
`event` String,\
`user_id` String,\
`did` String,\
`loc` String,\
`city` String,\
`province` String,\
`country` String,\
`ip` String,\
`app_ver` String,\
`channel` String,\
`net` String,\
`tm_s` String,\
`model` String,\
`brand` String,\
`client_type` String,\
`appnm` String,\
`isNewUser` Int32,\
`eventTimes_sum` Int32,\
`activeRate_defined` Int32,\
`uv_count_distinct` Int32,\
`avgTimes_avg` Int32,\
`city_name` String \
)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/flow_analysis_collect_detail_7','{replica}' ) \
PARTITION BY (toDate(dataTime)) \
ORDER BY (toDate(dataTime),event) \
SETTINGS index_granularity = 8192;

分布式表，方便统一查询

CREATE TABLE dwd.flow_analysis_collect_detail_dist_5 ON CLUSTER cluster_work \
AS dwd.flow_analysis_collect_detail_6 \
ENGINE = Distributed(cluster_work, dwd, flow_analysis_collect_detail_6, rand());

注：一天数据总量大概 7千万条，35G;

四. 实践测试

1.单表单日查询

select toHour(dataTime),count(1) from dwd.flow_analysis_collect_detail_dist_6 \
where toDate(dataTime)='2020-07-20' and event='进入小程序' \
group by toHour(dataTime);

数据总量

数据总条数

数据范围

执行环境

耗时(秒)

执行详情

6G

13162122

7月20号中1/6数据

单台

0.217

13. 16 million rows, 471. 40 MB ( 60. 56 million rows/s., 2. 17 GB/s.)

两台

0.146

12. 99 million rows, 465. 38 MB ( 88. 87 million rows/s., 3. 18 GB/s.)

72G

150009393

7月20号、7月21号

单台

1.396

99. 78 million rows, 2. 98 GB ( 71. 47 million rows/s., 2. 13 GB/s.)

两台

0.882

118. 76 million rows, 3. 13 GB ( 134. 67 million rows/s., 3. 55 GB/s.)

两台+索引不合理

0. 175

15. 41 million rows, 529. 22 MB ( 88. 08 million rows/s., 3. 03 GB/s.)

180G

496403745

7月14号~7月20号

单台

2. 272

478. 69 million rows, 8. 19 GB ( 210. 70 million rows/s., 3. 60 GB/s.)

两台+索引不合理

0. 770

90. 80 million rows, 3. 10 GB ( 117. 99 million rows/s., 4. 02 GB/s.)

两台+索引合理

0.110

6. 30 million rows, 203. 90 MB ( 52. 59 million rows/s., 1. 70 GB/s.)

校验真正应该扫描的行数 

SELECT count(1)
FROM dwd.flow_analysis_collect_detail_dist_6
WHERE (toDate(dataTime) = '2020-07-20') AND (event = '进入小程序')
┌─count(1)─┐
│  6125605 │
└──────────┘ 
 
执行结果:  
┌─toHour(dataTime)─┬─ count( 1)─┐ 
│ 0 │ 103067 │ 
│ 1 │ 65022 │ 
│ 2 │ 47014 │ 
│ 3 │ 31370 │ 
│ 4 │ 21733 │ 
│ 5 │ 30135 │ 
│ 6 │ 79276 │ 
│ 7 │ 205524 │ 
│ 8 │ 302196 │ 
│ 9 │ 293494 │ 
│ 10 │ 304415 │ 
│ 11 │ 330321 
│ 12 │ 322003 │ 
│ 13 │ 303266 │ 
│ 14 │ 347044 │ 
│ 15 │ 338380 │ 
│ 16 │ 366408 │ 
│ 17 │ 429977 │ 
│ 18 │ 482553 │ 
│ 19 │ 466647 │ 
│ 20 │ 446981 │ 
│ 21 │ 389081 │ 
│ 22 │ 260909 │ 
│ 23 │ 158789 │ 
└──────────────────┴──────────┘

2.单表多日查询

  select toDate(dataTime),count(1) from dwd.flow_analysis_collect_detail_dist_6  \ 
  where  toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21'  and event='进入小程序' \
  group by toDate(dataTime)

数据总量

数据总条数

数据范围

执行环境

耗时(秒)

执行详情

36G

78293173

7月20号

单台

1.460

99.78 million rows, 2.98 GB (68.34 million rows/s., 2.04 GB/s.)

两台

0. 685

78. 29 million rows, 2. 80 GB ( 114. 29 million rows/s., 4. 09 GB/s.)

72G

150009393

20号、21号

单台

2.071

138. 99 million rows, 4. 98 GB ( 67. 12 million rows/s., 2. 40 GB/s.)

两台

1. 211

150. 01 million rows, 5. 37 GB ( 123. 90 million rows/s., 4. 44 GB/s.)

两台+索引不合理

0. 159

15. 42 million rows, 529. 79 MB ( 96. 89 million rows/s., 3. 33 GB/s.)

180G

496403745

7月14号~7月20号

单台

9. 117

1. 15 billion rows, 41. 26 GB ( 126. 38 million rows/s., 4. 53 GB/s.)

两台+索引不合理

0.799

89.63 million rows, 3.05 GB (112.16 million rows/s., 3.82 GB/s.)

两台+索引合理

0.543

73.97 million rows, 2.38 GB (98.81 million rows/s., 3.18 GB/s.)

校验真正应该扫描的行数 

SELECT count(1)
FROM dwd.flow_analysis_collect_detail_dist_6
WHERE (toDate(dataTime) >= '2020-07-14') AND (toDate(dataTime) <= '2020-07-21') AND (event = '进入小程序')
┌─count(1)─┐
│ 67322569 │
└──────────┘
 
执行结果：
┌─toDate(dataTime)─┬─ count( 1)─┐ 
│ 2020- 07- 14 │ 5433342 │ 
│ 2020- 07- 15 │ 5941668 │ 
│ 2020- 07- 16 │ 5656247 │ 
│ 2020- 07- 17 │ 5509169 │ 
│ 2020- 07- 18 │ 5735335 │ 
│ 2020- 07- 19 │ 5903877 │ 
│ 2020- 07- 20 │ 6125605 │ 
│ 2020- 07- 21 │ 4686035 │ 
└──────────────────┴──────────┘

3.层关联汇总查询

  select  toDate(t1.dataTime),count(1)  from ( \
       select * from  dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21'  and event='扫码结果' \
   )t1 \
   inner join ( \
       select did from dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21' and  event='进入小程序'  \
       group by did \
       having(count(1)>=2) \
   )t2 on t1.did=t2.did \
   group by toDate(t1.dataTime)

数据总量

数据总条数

数据范围

执行环境

耗时(秒)

执行详情

6G

13162122

7月20号中1/6数据

单台

1. 667

26.32 million rows ,Processed 26.32 million rows, 2.23 GB (15.80 million rows/s., 1.34 GB/s.)

两台

0. 886

25. 99 million rows, 2. 20 GB ( 29. 34 million rows/s., 2. 49 GB/s.)

72G

150009393

20号、21号

单台

10. 008

277. 99 million rows, 23. 53 GB ( 27. 78 million rows/s., 2. 35 GB/s.)

两台

6. 833

300. 02 million rows, 25. 40 GB ( 43. 91 million rows/s., 3. 72 GB/s.)

两台+索引

2. 927

24. 64 million rows, 1. 89 GB ( 8. 42 million rows/s., 644. 46 MB/s.)

180G

496403745

7月14号~7月20号

单台

56. 768

2. 30 billion rows, 194. 87 GB ( 40. 59 million rows/s., 3. 43 GB/s.)

两台+索引不合理

20. 676

141. 23 million rows, 10. 83 GB ( 6. 83 million rows/s., 523. 88 MB/s.)

两台+索引不合理+查询20号、21号(等同于查询 72G的情况)

18.537

140.71 million rows, 10.80 GB (7.59 million rows/s., 582.57 MB/s.)

两台+索引合理

12.453

97. 45 million rows, 7. 58 GB ( 7. 57 million rows/s., 589. 35 MB/s.)

两台+索引合理+查询20号、21号(等同于查询 72G的情况)

1.474

9.08 million rows, 707.96 MB (6.16 million rows/s., 480.15 MB/s.)

校验真正应该扫描的行数 

SELECT count(1)
FROM dwd.flow_analysis_collect_detail_dist_6
WHERE (toDate(dataTime) >= '2020-07-14') AND (toDate(dataTime) <= '2020-07-21') AND (event = '扫码结果')
┌─count(1)─┐
│ 28053553 │
└──────────┘
 
 
SELECT count(1)
FROM dwd.flow_analysis_collect_detail_dist_6
WHERE (toDate(dataTime) >= '2020-07-14') AND (toDate(dataTime) <= '2020-07-21') AND (event = '进入小程序')
┌─count(1)─┐
│ 67322569 │
└──────────┘
 
 
 
┌─toDate(dataTime)─┬─ count( 1)─┐ 
│ 2020- 07- 14 │ 3570968 │ 
│ 2020- 07- 15 │ 3895880 │ 
│ 2020- 07- 16 │ 3720074 │ 
│ 2020- 07- 17 │ 3643796 │ 
│ 2020- 07- 18 │ 3787920 │ 
│ 2020- 07- 19 │ 3902946 │ 
│ 2020- 07- 20 │ 4086668 │ 
│ 2020- 07- 21 │ 3121926 │ 
└──────────────────┴──────────┘

4.层内关联查询

   select  toDate(t1.dataTime),count(1)  from ( \
       select * from  dwd.flow_analysis_collect_detail_dist_6  where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21'  and event='扫码结果' \
   )t1 \
   inner join ( \
       select did from dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21' and  event='进入小程序'  \
       group by did \
       having(count(1)>=2) \
       union all \
       select did from dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21' and  event='进入开锁页面'  \
       group by did \
       having(count(1)>=2) \
   )t2 on t1.did=t2.did \
   group by toDate(t1.dataTime);

数据总量

数据总条数

数据范围

执行环境

耗时(秒)

执行详情

6G

13162122

7月20号中1/6数据

单台

2. 006

39.49 million rows, 3.35 GB (19.69 million rows/s., 1.67 GB/s.)

两台

1. 706

38. 98 million rows, 3. 30 GB ( 22. 86 million rows/s., 1. 94 GB/s.)

72G

150009393

20号、21号

单台

22. 999

416. 98 million rows, 35. 30 GB ( 18. 13 million rows/s., 1. 53 GB/s.)

两台

15. 476

450. 03 million rows, 38. 10 GB ( 29. 08 million rows/s., 2. 46 GB/s.)

两台+索引不合理

5.499

32. 90 million rows, 2. 55 GB ( 5. 98 million rows/s., 463. 13 MB/s.)

180G

496403745

7月14号~7月20号

单台

58. 371

只能查询19号~21号， 查询14号~21号 clickhouse-server OOM

1.28 billion rows, 92.39 GB (21.99 million rows/s., 1.58 GB/s.)

两台+索引不合理

38.832

188. 10 million rows, 14. 53 GB ( 5. 07 million rows/s., 391. 88 MB/s.)

两台+索引不合理+查询20号、21号(等同于查询 72G的情况)

24.277

187.35 million rows, 14.48 GB (7.72 million rows/s., 596.54 MB/s.)

两台+索引合理

27.050

136.23 million rows, 10.67 GB (5.04 million rows/s., 394.33 MB/s.)

两台+索引合理+查询20号、21号(等同于查询 72G的情况)

4.841

22.04 million rows, 1.73 GB (4.55 million rows/s., 357.34 MB/s.)

校验真正应该扫描的行数 

 SELECT count(1)
FROM dwd.flow_analysis_collect_detail_dist_6
WHERE (toDate(dataTime) >= '2020-07-14') AND (toDate(dataTime) <= '2020-07-21') AND (event = '扫码结果')
┌─count(1)─┐
│ 30398934 │
└──────────┘
 
SELECT count(1)
FROM dwd.flow_analysis_collect_detail_dist_6
WHERE (toDate(dataTime) >= '2020-07-14') AND (toDate(dataTime) <= '2020-07-21') AND (event = '进入小程序')
┌─count(1)─┐
│ 72859193 │
└──────────┘
 
 
SELECT count(1)
FROM dwd.flow_analysis_collect_detail_dist_6
WHERE (toDate(dataTime) >= '2020-07-14') AND (toDate(dataTime) <= '2020-07-21') AND (event = '进入开锁页面')
┌─count(1)─┐
│ 29591612 │
└──────────┘
 
 
┌─toDate(dataTime)─┬─ count( 1)─┐ 
│ 2020- 07- 17 │ 3444621 │ 
│ 2020- 07- 18 │ 3590432 │ 
│ 2020- 07- 19 │ 3709326 │ 
│ 2020- 07- 20 │ 3897574 │ 
│ 2020- 07- 21 │ 2920165 │ 
└──────────────────┴──────────┘

5.多层嵌套关联查询

select  toDate(t1.dataTime),count(1)  from ( \
       select * from  dwd.flow_analysis_collect_detail_dist_6  where toDate(dataTime)>='2020-07-17' and toDate(dataTime)<='2020-07-21'  and event='扫码结果' \
   )t1 \
    inner join ( \
       select did from dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21' and  event='进入小程序'  \
       group by did \
       having(count(1)>=2) \
       union all \
       select did from dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21' and  event='进入开锁页面'  \
       group by did \
       having(count(1)>=2) \
   )t2 on t1.did=t2.did \
    inner join ( \
       select did from dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21' and  event='进入小程序'  \
       group by did \
       having(count(1)>=2) \
       union all \
       select did from dwd.flow_analysis_collect_detail_dist_6 where toDate(dataTime)>='2020-07-14' and toDate(dataTime)<='2020-07-21' and  event='点击机动挪车'  \
       group by did \
       having(count(1)>=2) \
   )t3 on t1.did=t3.did \
   group by toDate(t1.dataTime);

数据总量

数据总条数

数据范围

执行环境

耗时(秒)

执行详情

6G

13162122

7月20号中1/6数据

单台

3. 658

65.81 million rows, 5.58 GB (17.99 million rows/s., 1.53 GB/s.)

两台

2.993

64. 97 million rows, 5. 50 GB ( 21. 71 million rows/s., 1. 84 GB/s.)

72G

150009393

20号、21号

单台

42. 588

694. 96 million rows, 58. 84 GB ( 16. 32 million rows/s., 1. 38 GB/s.)

两台

28. 125

750. 05 million rows, 63. 49 GB ( 26. 67 million rows/s., 2. 26 GB/s.)

两台+索引

9.135

53. 03 million rows, 4. 06 GB ( 5. 81 million rows/s., 443. 92 MB/s.)

180G

496403745

7月14号~7月20号

单台

110. 158

只能查询19号~21号， 查询14号~21号 clickhouse-server OOM

2. 14 billion rows, 153. 99 GB ( 19. 42 million rows/s., 1. 40 GB/s.)

两台+索引不合理

59. 311

只能查询17号~21号， 查询14号~21号 clickhouse-server OOM

301. 41 million rows, 23. 07 GB ( 5. 08 million rows/s., 389. 02 MB/s.)

两台+索引合理

53.255

215.30 million rows, 16.76 GB (4.04 million rows/s., 314.65 MB/s.)

执行结果

┌─toDate(--t1.dataTime)─┬─count(1)─┐
│ 2020-07-14 │ 7006930 │
│ 2020-07-15 │ 7653622 │
│ 2020-07-16 │ 7306898 │
│ 2020-07-17 │ 7156312 │
│ 2020-07-18 │ 4404902 │
│ 2020-07-19 │ 5785404 │
│ 2020-07-20 │ 3831247 │
│ 2020-07-21 │ 3461854 │
└───────────────────────┴──────────┘

五.结论

  • clickhouse查询性能与服务器数据量成正比， 但要达到最优(2倍提升)，需要数据进行合理分片且数据要非常均衡

  • clickhouse 索引会极大提升查询性能，因为合理的索引会直接命中需要扫描的数据，从而避免非必要的全表扫描

  • clickhouse 关联性能远低于单表查询，且需要注意大表间关联容易出现 clickhouse-server 进程OOM

  • clickhouse 适合 OLAP下的多维动态复杂查询(druid 关联查询性能极差)

远方有海，小样不乖
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ClickHouse性能测试
老叶茶馆
03-29 3692
对ClickHouse做个简单的性能测试。ClickHouse简介ClickHouse是战斗民族Yandex公司出品的OLAP开源数据库，简称CH，也有...
clickhouse 性能测试
热门推荐
keyuquan的博客
09-20 2万+
注意：本测试使用的是官网的数据集，由于官网聚合操作太多过滤，所以写了一些没有过滤的聚合操作，本测试属于极限测试，真实业务中的聚合操作肯定会有很多过滤操作的 一.表的创建和数据导入 创建表：必须在每个节点创建表，ddl 没有同步  create database test ; use test ; CREATE TABLE ontime ( Year UInt16, Quarter ...
ClickHouse性能测试方案
swpmvp的专栏
08-12 285
确定测试目标和需求：准备测试环境：准备测试数据：设计测试场景：执行性能测试：监控和分析性能指标：优化和调优：多次测试和验证：性能测试报告和总结：
Clickhouse 1亿条20列表的性能测试
司马懿的西山居
12-01 2689
建表 下面建了一个1亿行20列，随机值的表用于测试 -- 随机表 CREATE TABLE generate_engine_table ( id UInt64, i8 Int8, i16 Int16, i32 Int32, i64 Int64, ui8 UInt8, ui16 UInt16, ui32 UInt32, ui64 UInt64, f32 Float32, f64 Float64, s1 String, s2 String, s3 String, s4 String, s5 St
2024年最全华为云云耀云服务器L实例评测｜单节点环境下部署ClickHouse21(1)，2024年最新大数据开发架构师之路
最新发布
2401_84185106的博客
05-05 776
​云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应用镜像，可以一键部署应用，极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试等任务的过程。​ClickHouse是一个开源的列式数据库管理系统，旨在处理大量数据和查询。它最初由俄罗斯搜索引擎公司Yandex开发，现在已经成为一个独立的开源项目。ClickHouse的主要特点是快速、可扩展和高性能。
Clickhouse性能测试
day day up
12-14 1042
一、数据导入性能测试 文件名称 文件大小 数据量大小 导入花费时间 表空间大小 customer.tbl 317M 300W 27s 114M lineorder.tbl 66G 6亿 1h25m16s 16.7G part.tbl 135M
ClickHouse性能情况以及相关优化
lck_csdn的博客
04-18 5303
一、ClickHouse性能情况 主要分为4个方面 1、单个查询吞吐量 场景一： 如果数据被放置在page cache中，则一个不太复杂的查询在单个服务器上大约能够以 2-10GB／s（未压缩）的速度进行处理（对于简单的查询，速度可以达到30GB／s） 场景二： 如果数据没有在page cache中的话，那么速度将取决于你的磁盘系统和数据的压缩率 例如： a、如果一个磁盘允许以400MB／s的速度读取数据，并且数据压缩率是3，则数据的处理速度为1.2GB/s。 b、这意味着，如果你是在提取一个10字节的
大数据应用之 --- clickhouse性能测试
qq_41187116的博客
07-10 997
大数据应用之 --- clickhouse性能测试ssb及扩展测试，在ssb的基础行增加了5和6的测试。
【大数据实战】聊聊clickhouse的性能问题-高性能分析
小吴同学的博客
01-02 1955
在OLAP的查询场景中，同样的数据量，ClickHouse表现出了比同类可比较产品更优的性能。可以看到CK在OLAP场景下的性能还是非常强的，那么是不是它在每个指标上表现都很好呢？事实上，并不是这样的，它也有自己的缺点，接下来我们可以大致来看看ClickHouse的性能指标。
【Clickhouse】Clickhouse集群概念+可用性测试
大锅霍皮久的博客
06-23 3494
Clickhouse集群概念+可用性测试集群部署核心概念：集群分布式分布式集群Clickhouse分布式集群规划个人观点常用命令 集群部署 核心概念： 集群 简单的理解，集群就是把多台计算机（服务器）拼凑在一起，它们相互合作和组合，在物理上构成了一个整体。 分布式 分布式的概念是相对于单个任务而言的，一个大任务或者复杂任务，将其按照一定的逻辑拆分成多个小任务，每个小任务单独处理，然后合并每个小结果成一个大结果。下面是一个简单的分布式架构示例： 分布式集群 分布式集群兼以上三个特点而有之，能够处理大型任务
腾讯云clickhouse性能调优实践.pdf
05-21
腾讯云clickhouse性能调优实践
clickhouse测试数据集ontime数据下载
10-04
clickhouse官方文档中的测试数据集ontime文件百度网盘下载链接。 ontime.csv.xz 数据压缩文件，3.28G, 解压后有61G, 使用该文件导入，由于文件过大，没有成功过； ontime.rar 已经分好区的数据压缩文件，15.2g，下载后，照着官网教程操作，直接解压到clickhouse的数据文件夹(/var/lib/clickhouse)下即可，推荐该方式导入数据； csdn积分不够用，文件是通过代理用流量从官网给的地址下载的文件，收一些积分，谢谢。
ClickHouse数据库
04-18
https://zhuanlan.zhihu.com/p/22165241简单的说，ClickHouse作为分析型数据库，有三大特点：一是跑分快， 二是功能多 ，三是文艺范.我对他的感觉就是，贼快。。。
ClickHouse性能之巅：从架构设计解读性能之谜.docx
09-13
ClickHouse性能之巅：从架构设计解读性能之谜.docx
clickhouse 性能 原理 深度解析.pdf
12-16
clickhouse 性能 原理 深度解析
ClickHouse性能优化
赵广陆
04-22 2390
目录 1 Explain查看执行计划优化sql 1.1 基本语法 1.2 案例实操 1.2.1 查看 PLAIN 1.2.2 AST 语法树 1.2.3 SYNTAX 语法优化 1.2.4 查看 PIPELINE 2 ClickHouse建表优化 2.1 数据类型 2.1.1 时间字段的类型 2.1.2 空值存储类型 2.2 分区和索引 2.3 表参数 2.4 写入和删除优化 2.5 常见配置 2.5.1 CPU 资源 2.5.2 内存资源 2.5.3 存储 3 ClickHouse语法优化规则
ClickHouse基础知识及与MySQL性能对比
qq_35381456的博客
11-16 4638
Clickhouse是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，在OLAP领域像一匹黑马一样，以其超高的性能受到业界的青睐。基于shard+replica实现的线性扩展和高可靠采用列式存储，数据类型一致，压缩性能更高硬件利用率高，连续IO，提高了磁盘驱动器的效率向量化引擎与SIMD提高了CPU利用率，多核多节点并行化大查询不支持事务、异步删除与更新不适用高并发场景。
clickhouse性能测试及与hive的性能对比
aaaassss602的博客
07-08 2868
测试一 数据库实例配置 计算节点：节点规格: 8 核 32 GB ; 存储空间: 1000 GB ; 副本数: 2 ; 分片数: 1 ZK节点：节点规格: 8 核 32 GB ; 存储空间: 300 GB ; 节点数目: 3 测试表 test_1（10个字段）：15652条，使用MergeTree作为表引擎 test_2（28个字段）：1026820983条，使用MergeTree作为表引擎 测试场景一：ClickHouse插入性能测试 外部数据无序插入到ClickHouse：55000条/秒 备
ClickHouse-7（性能优化）
getBinary的博客
12-12 2030
性能优化执行计划数据类型时间类型空值存储 执行计划 从我们编写的SQL有时并不能看出实际底层运行的逻辑，而要性能优化的话，阅读执行计划可以帮助理解运行逻辑，从而提供优化思路。 另一方面，ClickHouse会对书写的SQL做一定的优化，可以通过查看优化执行计划帮助我们改进SQL语句 需要注意的是ClickHouse在20.6版本起才支持查看执行计划，之前的版本只能通过将日志级别设置为TRACE，查看执行日志了解运行过程 执行计划基本语法： EXPLAIN [AST | SYNTAX | PLAN | PIP
clickhouse性能测试
07-27
ClickHouse是一个开源的列式数据库管理系统，用于处理大规模数据分析和实时查询。在进行ClickHouse性能测试时，可以通过创建表和插入数据来模拟真实的数据场景。引用\[1\]和\[2\]提供了创建表的示例代码，可以根据需要进行修改和扩展。 性能测试的一个常见指标是查询响应时间。可以使用SELECT语句来执行各种查询，并记录查询的执行时间。引用\[3\]提供了一个示例查询，计算了两个日期的bitmapCardinality，并计算了两个结果的差值。可以根据具体需求编写更复杂的查询语句，并使用ClickHouse提供的各种聚合函数和条件筛选来测试性能。 在进行性能测试时，还可以考虑以下几个方面： - 数据量：可以根据实际情况生成不同规模的测试数据，以模拟真实的数据场景。 - 并发性：可以同时执行多个查询，并观察系统的响应时间和资源利用率。 - 硬件配置：性能测试的结果可能会受到硬件配置的影响，可以在不同的硬件环境下进行测试，以评估系统的扩展性和性能表现。 总之，ClickHouse性能测试可以通过创建表、插入数据和执行查询来评估系统的性能和吞吐量。可以根据具体需求设计测试方案，并根据测试结果进行性能优化和调整。 #### 引用[.reference_title] - *1* *2* *3* [Clickhouse性能测试](https://blog.csdn.net/sileiH/article/details/111183622)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

远方有海，小样不乖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值