Clickhouse性能测试

最新推荐文章于 2024-07-27 13:27:32 发布
最新推荐文章于 2024-07-27 13:27:32 发布
阅读量1k 收藏 5
点赞数 1
分类专栏： clickhouse 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sileih/article/details/111183622
版权

一、数据导入性能测试

文件名称

文件大小

数据量大小

导入花费时间

表空间大小

customer.tbl

317M

300W27s114M

lineorder.tbl

66G

6亿1h25m16s16.7G

part.tbl

135M

140W7s24M

supplier.tbl

19M

20W

1s7.5M

建表语句：

1）主表

CREATE TABLE tutorial.lineorder
(
LO_ORDERKEY UInt32,
LO_LINENUMBER UInt8,
LO_CUSTKEY UInt32,
LO_PARTKEY UInt32,
LO_SUPPKEY UInt32,
LO_ORDERDATE Date,
LO_ORDERPRIORITY LowCardinality(String),
LO_SHIPPRIORITY UInt8,
LO_QUANTITY UInt8,
LO_EXTENDEDPRICE UInt32,
LO_ORDTOTALPRICE UInt32,
LO_DISCOUNT UInt8,
LO_REVENUE UInt32,
LO_SUPPLYCOST UInt32,
LO_TAX UInt8,
LO_COMMITDATE Date,
LO_SHIPMODE LowCardinality(String)
)
ENGINE = MergeTree PARTITION BY toYear(LO_ORDERDATE) ORDER BY (LO_ORDERDATE, LO_ORDERKEY);

2）特征表

CREATE TABLE tutorial.customer
(
C_CUSTKEY UInt32,
C_NAME String,
C_ADDRESS String,
C_CITY LowCardinality(String),
C_NATION LowCardinality(String),
C_REGION LowCardinality(String),
C_PHONE String,
C_MKTSEGMENT LowCardinality(String)
)
ENGINE = MergeTree ORDER BY (C_CUSTKEY);

3）特征表

CREATE TABLE tutorial.part
(
P_PARTKEY UInt32,
P_NAME String,
P_MFGR LowCardinality(String),
P_CATEGORY LowCardinality(String),
P_BRAND LowCardinality(String),
P_COLOR LowCardinality(String),
P_TYPE LowCardinality(String),
P_SIZE UInt8,
P_CONTAINER LowCardinality(String)
)
ENGINE = MergeTree ORDER BY P_PARTKEY;

4）特征表

CREATE TABLE tutorial.supplier
(
S_SUPPKEY UInt32,
S_NAME String,
S_ADDRESS String,
S_CITY LowCardinality(String),
S_NATION LowCardinality(String),
S_REGION LowCardinality(String),
S_PHONE String
)
ENGINE = MergeTree ORDER BY S_SUPPKEY;

二、运行测试

1、基础测试

1）简单聚合 + 条件筛选

编号

执行sql

首次执行时间

平均执行时间

1

SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue
FROM tutorial.lineorder
WHERE toYear(LO_ORDERDATE) = 1993
AND LO_DISCOUNT BETWEEN 1 AND 3
AND LO_QUANTITY < 25;

715ms390ms
2

SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue
FROM tutorial.lineorder
WHERE toYYYYMM(LO_ORDERDATE) = 199401
AND LO_DISCOUNT BETWEEN 4 AND 6
AND LO_QUANTITY BETWEEN 26 AND 35;

84ms64ms
3

SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue
FROM tutorial.lineorder
WHERE toISOWeek(LO_ORDERDATE) = 6
AND toYear(LO_ORDERDATE) = 1994
AND LO_DISCOUNT BETWEEN 5 AND 7
AND LO_QUANTITY BETWEEN 26 AND 35;

52ms40ms

2）简单聚合 + 条件筛选 + group by + order by

    

编号

执行sql

首次执行时间

平均执行时间

1

SELECT sum(LO_REVENUE), toYear(LO_ORDERDATE) AS year
FROM tutorial.lineorder
WHERE LO_ORDERPRIORITY = '3-MEDIUM'
GROUP BY year
ORDER BY year;

3.48s1.706s
2

SELECT sum(LO_REVENUE), toYear(LO_ORDERDATE) AS year,LO_ORDERPRIORITY
FROM tutorial.lineorder
WHERE LO_SHIPMODE = 'SHIP' or LO_SHIPMODE = 'AIR'
GROUP BY year,LO_ORDERPRIORITY 
ORDER BY year;

5.59s4.740s
3

SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT),sum(LO_REVENUE), toYear(LO_ORDERDATE) AS year,LO_ORDERPRIORITY
FROM tutorial.lineorder
WHERE LO_SHIPMODE = 'SHIP' or LO_SHIPMODE = 'AIR'
AND toYear(LO_ORDERDATE) < '1996'
GROUP BY year,LO_ORDERPRIORITY 
ORDER BY year desc,LO_ORDERPRIORITY asc;

6.834s5.943s

3）多表join + 简单聚合 + 条件筛选

编号执行sql首次执行时间平均执行时间
1SELECT sum(l.LO_EXTENDEDPRICE * l.LO_DISCOUNT) AS revenue
FROM tutorial.lineorder l
left join tutorial.part p
on l.LO_PARTKEY = p.P_PARTKEY 
WHERE toYear(l.LO_ORDERDATE) = 1993 
AND l.LO_DISCOUNT BETWEEN 1 AND 3 
AND l.LO_QUANTITY < 25
AND p.P_BRAND BETWEEN 'MFGR#2221' AND 'MFGR#2228';		2.943s2.595s
2SELECT sum(l.LO_EXTENDEDPRICE * l.LO_DISCOUNT) AS revenue
FROM tutorial.lineorder l 
left join tutorial.customer c
on c.C_CUSTKEY = l.LO_CUSTKEY
WHERE toYYYYMM(l.LO_ORDERDATE) = 199401 
AND l.LO_DISCOUNT BETWEEN 4 AND 6 
AND l.LO_QUANTITY BETWEEN 26 AND 35
AND c.C_REGION = 'AMERICA';		1.80s868ms
3SELECT sum(l.LO_EXTENDEDPRICE * l.LO_DISCOUNT) AS revenue
FROM tutorial.lineorder l
left join tutorial.supplier s
on l.LO_SUPPKEY = s.S_SUPPKEY
left join tutorial.part p
on l.LO_PARTKEY = p.P_PARTKEY 
left join tutorial.customer c
on l.LO_CUSTKEY = c.C_CUSTKEY
WHERE toISOWeek(l.LO_ORDERDATE) = 6 
AND toYear(l.LO_ORDERDATE) = 1994 
AND l.LO_DISCOUNT BETWEEN 5 AND 7 
AND l.LO_QUANTITY BETWEEN 26 AND 35
AND p.P_BRAND BETWEEN 'MFGR#2221' AND 'MFGR#2228'
AND c.C_REGION = 'AMERICA'
and s.S_NATION = 'UNITED KINGDOM';		1.48s890ms

4）多表join + 简单聚合 + 脚尖筛选 + group by + order by

编号执行sql首次执行时间平均执行时间
1SELECT sum(l.LO_REVENUE), toYear(l.LO_ORDERDATE) AS year, p.P_BRAND
FROM tutorial.lineorder l
left join tutorial.supplier s
on l.LO_SUPPKEY = s.S_SUPPKEY
left join tutorial.part p
on l.LO_PARTKEY = p.P_PARTKEY 
WHERE p.P_CATEGORY = 'MFGR#12' 
AND s.S_REGION = 'AMERICA' 
GROUP BY toYear(l.LO_ORDERDATE), p.P_BRAND 
ORDER BY toYear(l.LO_ORDERDATE), p.P_BRAND;		56.34s56s
2SELECT sum(l.LO_REVENUE), toYear(l.LO_ORDERDATE) AS year, p.P_BRAND 
FROM tutorial.lineorder l
left join tutorial.supplier s
on l.LO_SUPPKEY = s.S_SUPPKEY
left join tutorial.part p
on l.LO_PARTKEY= p.P_PARTKEY 
WHERE p.P_BRAND BETWEEN 'MFGR#2221' AND 'MFGR#2228' 
AND s.S_REGION = 'ASIA'
GROUP BY toYear(l.LO_ORDERDATE), p.P_BRAND 
ORDER BY toYear(l.LO_ORDERDATE), p.P_BRAND;		42.637s41.95s
3

SELECT sum(l.LO_REVENUE), toYear(l.LO_ORDERDATE) AS year, p.P_BRAND 
FROM tutorial.lineorder l 
left join tutorial.part p
on l.LO_PARTKEY = p.P_PARTKEY
left join tutorial.supplier s
on l.LO_SUPPKEY = s.S_SUPPKEY
WHERE p.P_BRAND = 'MFGR#2239' AND s.S_REGION = 'EUROPE' 
GROUP BY toYear(l.LO_ORDERDATE), p.P_BRAND 
ORDER BY toYear(l.LO_ORDERDATE), p.P_BRAND;

41.7s41.645s

2、BitMap测试

bitMap表设计结构：

序号字段英文名字段中文名字段类型示例
1LO_ORDERPRIORITY订单优先级LowCardinality(String) 
2LO_ORDERDATE订单日期date1993-01-01
3order_nbr_bmporder_nbr_bmpbitmap 

建表语句：

CREATE TABLE if not exists tutorial.lineorder_bmp(
LO_ORDERPRIORITY LowCardinality(String),
LO_ORDERDATE date,
ORDERKEY_BMP AggregateFunction(groupBitmap,UInt64)
)
ENGINE=AggregatingMergeTree()
partition by LO_ORDERPRIORITY
order by LO_ORDERDATE;

导入数据：

INSERT INTO tutorial.lineorder_bmp
SELECT
LO_ORDERPRIORITY,
LO_ORDERDATE,
groupBitmapState(toUInt64(ORDERKEY_BMP))
from (
select l.LO_ORDERPRIORITY,l.LO_ORDERDATE, l.LO_ORDERKEY as ORDERKEY_BMP
from tutorial.lineorder l
)
group by LO_ORDERPRIORITY,LO_ORDERDATE

测试案例一：统计每一天的每个订单优先级的订单数

序号执行sql首次消耗时间平均消耗时间
1

select lb.LO_ORDERDATE ,lb.LO_ORDERPRIORITY ,bitmapCardinality(lb.ORDERKEY_BMP)
from tutorial.lineorder_bmp lb
order by LO_ORDERDATE ,LO_ORDERPRIORITY

2.9s2.9s

测试案例二：求取1993-01-01和1993-01-02两日订单优先级最高的商品数增长百分比

序号执行sql首次消耗时间平均消耗时间
1

select (c1-c0)/c1
from (
select bitmapCardinality(
(select lb1.ORDERKEY_BMP from tutorial.lineorder_bmp lb1 where lb1.LO_ORDERDATE = '1993-01-01' and lb1.LO_ORDERPRIORITY = '1-URGENT')
) as c0,
bitmapCardinality(
(select lb2.ORDERKEY_BMP from tutorial.lineorder_bmp lb2 where lb2.LO_ORDERDATE = '1993-01-02' and lb2.LO_ORDERPRIORITY = '1-URGENT')
) as c1
)

3.328s2.7s
sileiH
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ClickHouse性能测试
老叶茶馆
03-29 3726
对ClickHouse做个简单的性能测试。ClickHouse简介ClickHouse是战斗民族Yandex公司出品的OLAP开源数据库，简称CH，也有...
clickhouse 性能测试
热门推荐
keyuquan的博客
09-20 2万+
注意：本测试使用的是官网的数据集，由于官网聚合操作太多过滤，所以写了一些没有过滤的聚合操作，本测试属于极限测试，真实业务中的聚合操作肯定会有很多过滤操作的 一.表的创建和数据导入 创建表：必须在每个节点创建表，ddl 没有同步  create database test ; use test ; CREATE TABLE ontime ( Year UInt16, Quarter ...
clickhouse性能测试过程
swpmvp的专栏
08-12 323
测试日期: 2023年3月15日至2023年3月20日。项目名称: ClickHouse数据库性能测试。
clickhouse中bitmap介绍
最新发布
m0_37689903的博客
07-27 1071
本文主要介绍了在clickhouse中使用bitmap来做用户画像的宽表，从而使圈选人群时更加快速
ClickHouse之简单性能测试
weixin_33874713的博客
04-01 205
前面的文章ClickHouse之初步认识已经简单的介绍了ClickHouse，接下来进行简单的性能测试。测试数据来源于美国民用航班的数据，从1987年到2017年，有1.7亿条。 环境： centos 6.3，32G内存，24核 下载脚本： #!/bin/bash for s in `seq 1987 2017` do for m in `seq 1 12` do mwg...
大数据应用之 --- clickhouse性能测试
qq_41187116的博客
07-10 1030
大数据应用之 --- clickhouse性能测试ssb及扩展测试，在ssb的基础行增加了5和6的测试。
ClickHouse 性能测试
ClickHouseDB的博客
06-26 706
例如，当我们发现一个竞争数据库引擎使用 sum 聚合函数完成查询的速度是我们的两倍时，我们测试了几十种 sum 的实现，最终找到了性能最佳的（参见关于此的演讲，俄语）。软件是一个不断变化的有机体，而 ClickHouse 的变化速度非常快——为了解释这一规模，仅在 2021 年 7 月，我们就合并了由 60 位不同作者提交的 319 个拉取请求（实时统计数据在这里）。这个测试有更多的失败模式，而不仅仅是功能测试，更糟糕的是，这些失败有些是定量的，而不是二元的。最近的一次是我们提到的 PR 带来的加速。
记一次 ClickHouse 性能测试
m0_71777195的博客
08-15 669
在工作场景中，我们会采集工厂设备数据用于智能控制，数据的存储用了 InfluxDB，随着数据规模越来越大，InfluxDB 的性能越来越差，故考虑引入 ClickHouse 分担 InfluxDB 大数据分析的压力，再加上我们业务上也用到了 MySQL ，所以本文就来对比下 MySQL、InfluxDB、ClickHouse 在千万数据量下的写入耗时、聚合查询耗时、磁盘占用等各方面性能指标。MySQL。...
clickhouse性能测试及与hive的性能对比
aaaassss602的博客
07-08 2919
测试一 数据库实例配置 计算节点：节点规格: 8 核 32 GB ; 存储空间: 1000 GB ; 副本数: 2 ; 分片数: 1 ZK节点：节点规格: 8 核 32 GB ; 存储空间: 300 GB ; 节点数目: 3 测试表 test_1（10个字段）：15652条，使用MergeTree作为表引擎 test_2（28个字段）：1026820983条，使用MergeTree作为表引擎 测试场景一：ClickHouse插入性能测试 外部数据无序插入到ClickHouse：55000条/秒 备
clickhouse性能测试
07-27
在进行ClickHouse性能测试时，可以通过创建表和插入数据来模拟真实的数据场景。引用\[1\]和\[2\]提供了创建表的示例代码，可以根据需要进行修改和扩展。 性能测试的一个常见指标是查询响应时间。可以使用SELECT语句...
clickhouse测试数据集ontime数据下载
10-04
clickhouse官方文档中的测试数据集ontime文件百度网盘下载链接。 ontime.csv.xz 数据压缩文件，3.28G, 解压后有61G, 使用该文件导入，由于文件过大，没有成功过； ontime.rar 已经分好区的数据压缩文件，15.2g，下载后，照着官网教程操作，直接解压到clickhouse的数据文件夹(/var/lib/clickhouse)下即可，推荐该方式导入数据； csdn积分不够用，文件是通过代理用流量从官网给的地址下载的文件，收一些积分，谢谢。
clickhouse 性能简单测试
雨花石
11-18 835
clickhouse 单机性能测试。
Clickhouse（20.4.2.9） SSB性能测试
聂雄超的博客
02-24 1630
SSB（Star Schema Benchmark）是麻省州立大学波士顿校区的研究人员定义的基于现实商业应用的数据模型，业界公认用来模拟决策支持类应用，比较公正和中立。
clickhouse性能评测
anguoan的博客
02-21 911
clickhouse性能测试
6亿数据秒级查询，ClickHouse太快了！
Java笔记虾
03-26 1266
来源：cnblogs.com/asimov/p/14546106.html最近由于项目需求使用到了 clickhouse 做分析数据库，于是用测试环境做了一个单表 6 亿数据量的性能测试，...
ClickHouse的性能测试与比较
禅与计算机程序设计艺术
01-25 1097
1.背景介绍 1. 背景介绍 ClickHouse 是一个高性能的列式数据库，主要用于实时数据处理和分析。它的性能优越性在于其独特的数据存储和查询方式，以及高效的算法和数据结构。在大数据场景下，ClickHouse 的性能优势尤为明显。本文将从性能测试和比较的角度，深入探讨 ClickHouse 的核心概念、算法原理、最佳实践和实际应用场景。 2. 核心概念与联系 2.1 ClickHou...
clickhouse HA 及性能测试
humanity11的博客
02-17 4314
目录 需求说明 逻辑架构图 物体架构图 测试性能 测试指标说明： sql语句准备 环境准备 测试结论报告 （1） HA测试，停止某台服务，对外服务是否正常访问 （2）spark 以(5/10/20/40)个并发模拟写数据时，读性能(读50/100/150并发）测试 2.1 写并发测试 2.2 qps并发性能测试 （3）租户划分使用场景 （4）缓存 结论 需求说明 针对clickhouse作为生产环境的底层数据存储，为了能保证生产环境服务稳定可用，做如下性能测试： ..
clickhouse hadoop_clickhouse 性能测试
weixin_39658019的博客
12-20 172
clickhouse 性能测试发布时间：2018-09-20 11:26,浏览次数：1283, 标签：clickhouse注意：本测试使用的是官网的数据集，由于官网聚合操作太多过滤，所以写了一些没有过滤的聚合操作，本测试属于极限测试，真实业务中的聚合操作肯定会有很多过滤操作的一.表的创建和数据导入创建表：必须在每个节点创建表，ddl 没有同步create database test ; use t...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sileiH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值