Clickhouse分片集群性能测试

最新推荐文章于 2024-06-09 17:22:13 发布
最新推荐文章于 2024-06-09 17:22:13 发布
阅读量1.3k 收藏 3
点赞数 1
分类专栏： clickhouse 文章标签： ClickHouse 分片集群 性能测试 数据导入 查询效率
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/just_a_sinner/article/details/121675634
版权

Clickhouse分片集群性能测试

测试环境

clickhouse版本：21.11.4.14

硬件环境：

云主机CPUMem数据盘OS
ck-14c16G150Gcentos7.8
ck-24c16G150Gcentos7.8
ck-34c16G150Gcentos7.8
ck-44c16G150Gcentos7.8

数据源：

Star Schema Benchmark | ClickHouse文档

生成数据

使用-s 100dbgen 将生成 6 亿行数据(67GB), 如果使用-s 1000它会生成 60 亿行数据(这需要很多时间))

$ ./dbgen -s 100 -T c
$ ./dbgen -s 100 -T l
$ ./dbgen -s 100 -T p
$ ./dbgen -s 100 -T s

生成lineorder数据集的时候会报错：File size limit exceeded (core dumped)
临时增加file size: ulimit -f 102400000再生成一次就可以了

集群配置

    <clickhouse_remote_servers>
        <two_shards_2rep>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>ck-1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>ck-2</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>ck-3</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>ck-4</host>
                    <port>9000</port>
                </replica>
            </shard>
        </two_shards_2rep>
    </clickhouse_remote_servers>

建表

CREATE DATABASE data_share on cluster two_shards_2rep；

# 副本表
CREATE TABLE data_share.customer on cluster two_shards_2rep
(
        C_CUSTKEY       UInt32,
        C_NAME          String,
        C_ADDRESS       String,
        C_CITY          LowCardinality(String),
        C_NATION        LowCardinality(String),
        C_REGION        LowCardinality(String),
        C_PHONE         String,
        C_MKTSEGMENT    LowCardinality(String)
)
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/customer','{replica}') 
ORDER BY (C_CUSTKEY);

#分布式表
CREATE TABLE data_share.customer_all on cluster two_shards_2rep
(
        C_CUSTKEY       UInt32,
        C_NAME          String,
        C_ADDRESS       String,
        C_CITY          LowCardinality(String),
        C_NATION        LowCardinality(String),
        C_REGION        LowCardinality(String),
        C_PHONE         String,
        C_MKTSEGMENT    LowCardinality(String)
)
ENGINE = Distributed(two_shards_2rep,data_share,customer,hiveHash(C_CUSTKEY));


CREATE TABLE data_share.lineorder on cluster two_shards_2rep
(
    LO_ORDERKEY             UInt32,
    LO_LINENUMBER           UInt8,
    LO_CUSTKEY              UInt32,
    LO_PARTKEY              UInt32,
    LO_SUPPKEY              UInt32,
    LO_ORDERDATE            Date,
    LO_ORDERPRIORITY        LowCardinality(String),
    LO_SHIPPRIORITY         UInt8,
    LO_QUANTITY             UInt8,
    LO_EXTENDEDPRICE        UInt32,
    LO_ORDTOTALPRICE        UInt32,
    LO_DISCOUNT             UInt8,
    LO_REVENUE              UInt32,
    LO_SUPPLYCOST           UInt32,
    LO_TAX                  UInt8,
    LO_COMMITDATE           Date,
    LO_SHIPMODE             LowCardinality(String)
)
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/lineorder','{replica}') 
PARTITION BY toYear(LO_ORDERDATE)
ORDER BY (LO_ORDERDATE, LO_ORDERKEY);

CREATE TABLE data_share.lineorder_all on cluster two_shards_2rep
(
    LO_ORDERKEY             UInt32,
    LO_LINENUMBER           UInt8,
    LO_CUSTKEY              UInt32,
    LO_PARTKEY              UInt32,
    LO_SUPPKEY              UInt32,
    LO_ORDERDATE            Date,
    LO_ORDERPRIORITY        LowCardinality(String),
    LO_SHIPPRIORITY         UInt8,
    LO_QUANTITY             UInt8,
    LO_EXTENDEDPRICE        UInt32,
    LO_ORDTOTALPRICE        UInt32,
    LO_DISCOUNT             UInt8,
    LO_REVENUE              UInt32,
    LO_SUPPLYCOST           UInt32,
    LO_TAX                  UInt8,
    LO_COMMITDATE           Date,
    LO_SHIPMODE             LowCardinality(String)
)
ENGINE = Distributed(two_shards_2rep,data_share,lineorder,hiveHash(LO_ORDERKEY));

CREATE TABLE data_share.part on cluster two_shards_2rep
(
        P_PARTKEY       UInt32,
        P_NAME          String,
        P_MFGR          LowCardinality(String),
        P_CATEGORY      LowCardinality(String),
        P_BRAND         LowCardinality(String),
        P_COLOR         LowCardinality(String),
        P_TYPE          LowCardinality(String),
        P_SIZE          UInt8,
        P_CONTAINER     LowCardinality(String)
)
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/part','{replica}') 
ORDER BY P_PARTKEY;

CREATE TABLE data_share.part_all on cluster two_shards_2rep
(
        P_PARTKEY       UInt32,
        P_NAME          String,
        P_MFGR          LowCardinality(String),
        P_CATEGORY      LowCardinality(String),
        P_BRAND         LowCardinality(String),
        P_COLOR         LowCardinality(String),
        P_TYPE          LowCardinality(String),
        P_SIZE          UInt8,
        P_CONTAINER     LowCardinality(String)
)
ENGINE = Distributed(two_shards_2rep,data_share,part,hiveHash(P_PARTKEY));

CREATE TABLE data_share.supplier on cluster two_shards_2rep
(
        S_SUPPKEY       UInt32,
        S_NAME          String,
        S_ADDRESS       String,
        S_CITY          LowCardinality(String),
        S_NATION        LowCardinality(String),
        S_REGION        LowCardinality(String),
        S_PHONE         String
)
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/supplier','{replica}') 
ORDER BY S_SUPPKEY;

CREATE TABLE data_share.supplier_all on cluster two_shards_2rep
(
        S_SUPPKEY       UInt32,
        S_NAME          String,
        S_ADDRESS       String,
        S_CITY          LowCardinality(String),
        S_NATION        LowCardinality(String),
        S_REGION        LowCardinality(String),
        S_PHONE         String
)
ENGINE = Distributed(two_shards_2rep,data_share,supplier,hiveHash(S_SUPPKEY));

写入数据

$ clickhouse-client --query "INSERT INTO data_share.customer_all FORMAT CSV" < customer.tbl
$ clickhouse-client --query "INSERT INTO data_share.part FORMAT CSV" < part.tbl
$ clickhouse-client --query "INSERT INTO data_share.supplier FORMAT CSV" < supplier.tbl
$ clickhouse-client --query "INSERT INTO data_share.lineorder FORMAT CSV" < lineorder.tbl

建立宽表

SET max_memory_usage = 20000000000;

CREATE TABLE data_share.lineorder_flat on cluster two_shards_2rep
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/lineorder_flat','{replica}')
PARTITION BY toYear(LO_ORDERDATE)
ORDER BY (LO_ORDERDATE, LO_ORDERKEY) AS
SELECT
    l.LO_ORDERKEY AS LO_ORDERKEY,
    l.LO_LINENUMBER AS LO_LINENUMBER,
    l.LO_CUSTKEY AS LO_CUSTKEY,
    l.LO_PARTKEY AS LO_PARTKEY,
    l.LO_SUPPKEY AS LO_SUPPKEY,
    l.LO_ORDERDATE AS LO_ORDERDATE,
    l.LO_ORDERPRIORITY AS LO_ORDERPRIORITY,
    l.LO_SHIPPRIORITY AS LO_SHIPPRIORITY,
    l.LO_QUANTITY AS LO_QUANTITY,
    l.LO_EXTENDEDPRICE AS LO_EXTENDEDPRICE,
    l.LO_ORDTOTALPRICE AS LO_ORDTOTALPRICE,
    l.LO_DISCOUNT AS LO_DISCOUNT,
    l.LO_REVENUE AS LO_REVENUE,
    l.LO_SUPPLYCOST AS LO_SUPPLYCOST,
    l.LO_TAX AS LO_TAX,
    l.LO_COMMITDATE AS LO_COMMITDATE,
    l.LO_SHIPMODE AS LO_SHIPMODE,
    c.C_NAME AS C_NAME,
    c.C_ADDRESS AS C_ADDRESS,
    c.C_CITY AS C_CITY,
    c.C_NATION AS C_NATION,
    c.C_REGION AS C_REGION,
    c.C_PHONE AS C_PHONE,
    c.C_MKTSEGMENT AS C_MKTSEGMENT,
    s.S_NAME AS S_NAME,
    s.S_ADDRESS AS S_ADDRESS,
    s.S_CITY AS S_CITY,
    s.S_NATION AS S_NATION,
    s.S_REGION AS S_REGION,
    s.S_PHONE AS S_PHONE,
    p.P_NAME AS P_NAME,
    p.P_MFGR AS P_MFGR,
    p.P_CATEGORY AS P_CATEGORY,
    p.P_BRAND AS P_BRAND,
    p.P_COLOR AS P_COLOR,
    p.P_TYPE AS P_TYPE,
    p.P_SIZE AS P_SIZE,
    p.P_CONTAINER AS P_CONTAINER
FROM data_share.lineorder AS l
INNER JOIN data_share.customer AS c ON c.C_CUSTKEY = l.LO_CUSTKEY
INNER JOIN data_share.supplier AS s ON s.S_SUPPKEY = l.LO_SUPPKEY
INNER JOIN data_share.part AS p ON p.P_PARTKEY = l.LO_PARTKEY;

测试报告

写入测试

导入lineorder 表的6亿条数据耗时约20分钟；平均50w条/s；
查询：count(*)

┌───count()─┐
│ 600037902 │
└───────────┘
耗时： 0.005 sec.
分片1（ck1-ck2）
ck-1在这里插入图片描述
分片2（ck3-ck4）
在这里插入图片描述在这里插入图片描述

建立宽表

SET max_memory_usage = 20000000000;

CREATE TABLE data_share.lineorder_flat on cluster two_shards_2rep
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/lineorder_flat','{replica}')
PARTITION BY toYear(LO_ORDERDATE)
ORDER BY (LO_ORDERDATE, LO_ORDERKEY) AS
SELECT
    l.LO_ORDERKEY AS LO_ORDERKEY,
    l.LO_LINENUMBER AS LO_LINENUMBER,
    l.LO_CUSTKEY AS LO_CUSTKEY,
    l.LO_PARTKEY AS LO_PARTKEY,
    l.LO_SUPPKEY AS LO_SUPPKEY,
    l.LO_ORDERDATE AS LO_ORDERDATE,
    l.LO_ORDERPRIORITY AS LO_ORDERPRIORITY,
    l.LO_SHIPPRIORITY AS LO_SHIPPRIORITY,
    l.LO_QUANTITY AS LO_QUANTITY,
    l.LO_EXTENDEDPRICE AS LO_EXTENDEDPRICE,
    l.LO_ORDTOTALPRICE AS LO_ORDTOTALPRICE,
    l.LO_DISCOUNT AS LO_DISCOUNT,
    l.LO_REVENUE AS LO_REVENUE,
    l.LO_SUPPLYCOST AS LO_SUPPLYCOST,
    l.LO_TAX AS LO_TAX,
    l.LO_COMMITDATE AS LO_COMMITDATE,
    l.LO_SHIPMODE AS LO_SHIPMODE,
    c.C_NAME AS C_NAME,
    c.C_ADDRESS AS C_ADDRESS,
    c.C_CITY AS C_CITY,
    c.C_NATION AS C_NATION,
    c.C_REGION AS C_REGION,
    c.C_PHONE AS C_PHONE,
    c.C_MKTSEGMENT AS C_MKTSEGMENT,
    s.S_NAME AS S_NAME,
    s.S_ADDRESS AS S_ADDRESS,
    s.S_CITY AS S_CITY,
    s.S_NATION AS S_NATION,
    s.S_REGION AS S_REGION,
    s.S_PHONE AS S_PHONE,
    p.P_NAME AS P_NAME,
    p.P_MFGR AS P_MFGR,
    p.P_CATEGORY AS P_CATEGORY,
    p.P_BRAND AS P_BRAND,
    p.P_COLOR AS P_COLOR,
    p.P_TYPE AS P_TYPE,
    p.P_SIZE AS P_SIZE,
    p.P_CONTAINER AS P_CONTAINER
FROM data_share.lineorder AS l
INNER JOIN data_share.customer AS c ON c.C_CUSTKEY = l.LO_CUSTKEY
INNER JOIN data_share.supplier AS s ON s.S_SUPPKEY = l.LO_SUPPKEY
INNER JOIN data_share.part AS p ON p.P_PARTKEY = l.LO_PARTKEY;

汇总数据到flat表，耗时3分钟；
此时的系统性能报告如下：
在这里插入图片描述

查询效率测试

# Count(*):
┌──count()─┐
│ 66543963 │
└──────────┘
耗时： 0.002 sec.

# 查询1：
SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue
FROM lineorder_flat
WHERE toYear(LO_ORDERDATE) = 1993 AND LO_DISCOUNT BETWEEN 1 AND 3 AND LO_QUANTITY < 25;
┌───────revenue─┐
│ 5579054405072 │
└───────────────┘
Elapsed: 0.051 sec. Processed 11.38 million rows, 91.04 MB (222.39 million rows/s., 1.78 GB/s.)

# 查询2：
SELECT
    sum(LO_REVENUE),
    toYear(LO_ORDERDATE) AS year,
    P_BRAND
FROM lineorder_flat
WHERE P_CATEGORY = 'MFGR#12' AND S_REGION = 'AMERICA'
GROUP BY
    year,
    P_BRAND
ORDER BY
    year,
    P_BRAND;

┌─sum(LO_REVENUE)─┬─year─┬─P_BRAND───┐
│      8732753082 │ 1992 │ MFGR#121  │
│      8298059898 │ 1992 │ MFGR#1210 │
│      8654840744 │ 1992 │ MFGR#1211 │
│      8281452448 │ 1992 │ MFGR#1212 │
│      7872747212 │ 1992 │ MFGR#1213 │
│      8067499326 │ 1992 │ MFGR#1214 │
│      8533006418 │ 1992 │ MFGR#1215 │
│      8666214904 │ 1992 │ MFGR#1216 │
│      8243585806 │ 1992 │ MFGR#1217 │
| ......		  | .... | .... 	 |
│      4890044962 │ 1998 │ MFGR#125  │
│      4198887088 │ 1998 │ MFGR#126  │
│      5063931218 │ 1998 │ MFGR#127  │
│      5162316544 │ 1998 │ MFGR#128  │
│      4496495932 │ 1998 │ MFGR#129  │
└─────────────────┴──────┴───────────┘

280 rows in set. Elapsed: 2.536 sec. Processed 74.66 million rows, 773.05 MB (29.43 million rows/s., 304.77 MB/s.)

# 查询3：
SELECT
    C_CITY,
    S_CITY,
    toYear(LO_ORDERDATE) AS year,
    sum(LO_REVENUE) AS revenue
FROM lineorder_flat
WHERE (C_CITY = 'UNITED KI1' OR C_CITY = 'UNITED KI5') AND (S_CITY = 'UNITED KI1' OR S_CITY = 'UNITED KI5') AND year >= 1992 AND year <= 1997
GROUP BY
    C_CITY,
    S_CITY,
    year
ORDER BY
    year ASC,
    revenue DESC;

┌─C_CITY─────┬─S_CITY─────┬─year─┬───revenue─┐
│ UNITED KI1 │ UNITED KI1 │ 1992 │ 819803234 │
│ UNITED KI5 │ UNITED KI5 │ 1992 │ 777564246 │
│ UNITED KI5 │ UNITED KI1 │ 1992 │ 683287196 │
│ UNITED KI1 │ UNITED KI5 │ 1992 │ 586031246 │
│ UNITED KI1 │ UNITED KI1 │ 1993 │ 828457936 │
│ UNITED KI1 │ UNITED KI5 │ 1993 │ 743591938 │
│ UNITED KI5 │ UNITED KI5 │ 1993 │ 615734476 │
│ UNITED KI5 │ UNITED KI1 │ 1993 │ 579175942 │
│ UNITED KI1 │ UNITED KI5 │ 1994 │ 770470484 │
│ UNITED KI1 │ UNITED KI1 │ 1994 │ 712789452 │
│ UNITED KI5 │ UNITED KI1 │ 1994 │ 655200664 │
│ UNITED KI5 │ UNITED KI5 │ 1994 │ 583152106 │
│ UNITED KI1 │ UNITED KI1 │ 1995 │ 733116632 │
│ UNITED KI5 │ UNITED KI1 │ 1995 │ 723067936 │
│ UNITED KI5 │ UNITED KI5 │ 1995 │ 703419120 │
│ UNITED KI1 │ UNITED KI5 │ 1995 │ 594012920 │
│ UNITED KI1 │ UNITED KI5 │ 1996 │ 740211016 │
│ UNITED KI1 │ UNITED KI1 │ 1996 │ 653797052 │
│ UNITED KI5 │ UNITED KI1 │ 1996 │ 648050389 │
│ UNITED KI5 │ UNITED KI5 │ 1996 │ 594341338 │
│ UNITED KI1 │ UNITED KI1 │ 1997 │ 753622992 │
│ UNITED KI5 │ UNITED KI5 │ 1997 │ 730044290 │
│ UNITED KI5 │ UNITED KI1 │ 1997 │ 662865918 │
│ UNITED KI1 │ UNITED KI5 │ 1997 │ 649905990 │
└────────────┴────────────┴──────┴───────────┘

24 rows in set. Elapsed: 0.283 sec. Processed 67.99 million rows, 556.43 MB (240.42 million rows/s., 1.97 GB/s.)

# 查询4：
SELECT
    toYear(LO_ORDERDATE) AS year,
    C_NATION,
    sum(LO_REVENUE - LO_SUPPLYCOST) AS profit
FROM lineorder_flat
WHERE C_REGION = 'AMERICA' AND S_REGION = 'AMERICA' AND (P_MFGR = 'MFGR#1' OR P_MFGR = 'MFGR#2')
GROUP BY
    year,
    C_NATION
ORDER BY
    year ASC,
    C_NATION ASC;
┌─year─┬─C_NATION──────┬───────profit─┐
│ 1992 │ ARGENTINA     │ 129264034732 │
│ 1992 │ BRAZIL        │ 129190275718 │
│ 1992 │ CANADA        │ 127999498130 │
│ 1992 │ PERU          │ 130008432234 │
│ 1992 │ UNITED STATES │ 128121512564 │
│ 1993 │ ARGENTINA     │ 129045810754 │
│ 1993 │ BRAZIL        │ 129272278766 │
│ 1993 │ CANADA        │ 129201057096 │
│ 1993 │ PERU          │ 127234258294 │
│ 1993 │ UNITED STATES │ 127625951768 │
│ 1994 │ ARGENTINA     │ 128315941790 │
│ 1994 │ BRAZIL        │ 129750923128 │
│ 1994 │ CANADA        │ 128931983308 │
│ 1994 │ PERU          │ 127569079104 │
│ 1994 │ UNITED STATES │ 128950639058 │
│ 1995 │ ARGENTINA     │ 128653868430 │
│ 1995 │ BRAZIL        │ 129147797904 │
│ 1995 │ CANADA        │ 129487283214 │
│ 1995 │ PERU          │ 127897351820 │
│ 1995 │ UNITED STATES │ 128060931298 │
│ 1996 │ ARGENTINA     │ 125437970016 │
│ 1996 │ BRAZIL        │ 124507623177 │
│ 1996 │ CANADA        │ 124286938916 │
│ 1996 │ PERU          │ 124366141740 │
│ 1996 │ UNITED STATES │ 123662006907 │
│ 1997 │ ARGENTINA     │ 128124640660 │
│ 1997 │ BRAZIL        │ 129806833966 │
│ 1997 │ CANADA        │ 127734326768 │
│ 1997 │ PERU          │ 129729837034 │
│ 1997 │ UNITED STATES │ 128388371012 │
│ 1998 │ ARGENTINA     │  75667522918 │
│ 1998 │ BRAZIL        │  76089525024 │
│ 1998 │ CANADA        │  75113316030 │
│ 1998 │ PERU          │  76322655284 │
│ 1998 │ UNITED STATES │  75648021690 │
└──────┴───────────────┴──────────────┘

35 rows in set. Elapsed: 1.647 sec. Processed 74.66 million rows, 1.05 GB (45.33 million rows/s., 635.15 MB/s.)

好了，虽然这是比较粗略的测试，很多地方都不太严谨，但是从测试结果和系统的整体性能的使用情况来看，clickhouse真的很强！后续我在使用过程中要是有新的分享会再次的分享给大家的，感谢您的阅读。😃

just_a_sinner
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
clickhouse 性能 原理 深度解析
lg4546的专栏
12-03 2010
一、clickhouse为什么如此快 1）优秀的代码，对性能的极致追求 clickhouse是CPP编写的，代码中大量使用了CPP最新的特性来对查询进行加速。 2）优秀的执行引擎以及存储引擎 clickhouse是基于列式存储的，使用了向量化的执行引擎，利用SIMD指令进行处理加速，同时使用LLVM加快函数编译执行，当然了Presto也大量的使用了这样的特性。 3）稀疏索引 相比于传统基于HDFS的OLAP引擎，clickhouse不仅有基于分区的过滤，还有基于列级别的稀疏索引，这样在进行条件查
MongoDB的分片集群基本配置教程
09-10
MongoDB的分片集群是一种高可用、可扩展的数据库架构，它通过将数据分散存储在多个服务器上，实现了数据的水平扩展，以处理大规模的数据存储和处理需求。本教程将详细讲解MongoDB分片集群的基本配置步骤。 首先，...
【Clickhouse】Clickhouse集群概念+可用性测试
大锅霍皮久的博客
06-23 3574
Clickhouse集群概念+可用性测试集群部署核心概念：集群分布式分布式集群Clickhouse分布式集群规划个人观点常用命令 集群部署 核心概念： 集群 简单的理解，集群就是把多台计算机（服务器）拼凑在一起，它们相互合作和组合，在物理上构成了一个整体。 分布式 分布式的概念是相对于单个任务而言的，一个大任务或者复杂任务，将其按照一定的逻辑拆分成多个小任务，每个小任务单独处理，然后合并每个小结果成一个大结果。下面是一个简单的分布式架构示例： 分布式集群 分布式集群兼以上三个特点而有之，能够处理大型任务
ClickHouse数据库对比、适用场景与入门指南
最新发布
全世界的博客
06-09 1563
ClickHouse 是一个由俄罗斯搜索引擎公司 Yandex 开发的开源列式数据库管理系统，专为在线分析处理（OLAP）场景设计。它以其卓越的性能、高效的压缩和实时数据处理能力而闻名。ClickHouse 的入门概述旨在帮助初学者理解其核心概念和设计理念，为后续的学习和使用打下基础。ClickHouse 是一个列式存储的数据库管理系统，这意味着数据是按列存储而非按行存储。这种存储方式使得在执行聚合查询时能够提供更高的性能。ClickHouse 支持标准 SQL 查询，并且提供了许多针对列式存储的优化特性。
ClickHouse数据库性能测试报告
swpmvp的专栏
08-12 719
测试日期: 20223年3月15日至2023年3月20日。项目名称: ClickHouse数据库性能测试。
记一次 ClickHouse 性能测试
劼哥舍
08-15 1148
前言 在工作场景中，我们会采集工厂设备数据用于智能控制，数据的存储用了 InfluxDB，随着数据规模越来越大，InfluxDB 的性能越来越差，故考虑引入 ClickHouse 分担 InfluxDB 大数据分析的压力，再加上我们业务上也用到了 MySQL ，所以本文就来对比下 MySQL、InfluxDB、ClickHouse 在千万数据量下的写入耗时、聚合查询耗时、磁盘占用等各方面性能指标。 结论先行 最终的结论是，直接使用 ClickHouse 官网提供的 6600w 数据集来做对比测试，在 MyS
clickhouse集群小试
DANTE54的博客
06-04 459
clickhouse集群 设备需求 clickhouse集群 centos7/ubuntu 6台（3 shard，2 replica） zookeeper集群 centos7/ubuntu 3台 环境安装 zookeeper集群搭建 java准备 下载jdk，并配置环境变量 zookeeper准备 下载zookeeper 配置zookeeper 建立zookeeper数据路径，实验所使用的配置路径是 /data/apache/zookeeper/zkdata/ 在数据路径下，创建my
一汽丰田数据湖环境mongoDB分片集群测试
02-06
在这个测试环境中，MongoDB 分片集群由三个分片复制集组成，每个复制集包含三个成员，分别运行在192.168.213.17、192.168.213.18和192.168.213.19这三台虚拟机上。每个分片都有三个端口（28017、28018、28019），...
MongoDB分片集群部署详解
09-09
MongoDB的分片集群部署是为了解决大数据存储和处理问题，通过将数据分散在多个物理或虚拟机器上，实现水平扩展，以提高数据库的可伸缩性和性能。本篇文章将详细阐述MongoDB分片集群的部署过程和相关概念。 首先，...
MongoDB分片测试
09-10
在进行MongoDB分片测试时，首先需要连接到mongos，这是与分片集群交互的入口点。通过`show dbs`、`use config`、`show collections`等命令可以查看集群的状态，包括各个分片服务器的信息，如它们的ping时间、是否...
mongodb 分片集群搭建过程（无副本）
04-18
mongodb 分片集群搭建过程（无副本），详细操作步骤，linux命令
clickhouse复制表集群一些测试
独孤飞磊
01-09 272
clickhouse复制表集群的一些测试
clickhouse hadoop_clickhouse 性能测试
weixin_39658019的博客
12-20 167
clickhouse 性能测试发布时间：2018-09-20 11:26,浏览次数：1283, 标签：clickhouse注意：本测试使用的是官网的数据集，由于官网聚合操作太多过滤，所以写了一些没有过滤的聚合操作，本测试属于极限测试，真实业务中的聚合操作肯定会有很多过滤操作的一.表的创建和数据导入创建表：必须在每个节点创建表，ddl 没有同步create database test ; use t...
clickhouse一个测试报告
weixin_45941587的博客
10-12 174
测试语句 -- 9亿数据的表中做如下测试 select CLLXDM, count() from t1 group by CLLXDM ; 配置信息 124配置 [root@localhost ~]# free -m total used free shared buff/cache available Mem: 15887 2258 9978 4 3649 13027
mysql集群和clickhouse性能_ClickHouse之简单性能测试
weixin_35146639的博客
02-28 114
CREATE TABLEontime(YearUInt16,Quarter UInt8,MonthUInt8,DayofMonth UInt8,DayOfWeek UInt8,FlightDate Date,UniqueCarrier FixedString(7),AirlineID Int32,Carrier FixedString(2),TailNum String,FlightNum Str...
Clickhouse性能测试
day day up
12-14 1069
一、数据导入性能测试 文件名称 文件大小 数据量大小 导入花费时间 表空间大小 customer.tbl 317M 300W 27s 114M lineorder.tbl 66G 6亿 1h25m16s 16.7G part.tbl 135M
clickhouse性能测试
weixin_42042307的博客
01-27 766
clickhouse性能测试 准备 集群环境建表 CREATE TABLE test.ontime ON CLUSTER yc_clickhouse \ ( Year UInt16, \ Quarter UInt8, \ Month UInt8, \ DayofMonth UInt8, \ DayOfWeek UInt8, \ FlightDate Date, \ UniqueCarrier FixedString(7), \ AirlineID In
clickhouse简介和性能测试
热门推荐
hochoy的博客
02-28 1万+
clickhouse使用文档：相对简洁的介绍了clickhouse的使用，对各种引擎做了简单介绍 clickhouse官网：clickhouse的权威官方网站 准备：在分布式clickhouse集群搭建好之后，进行建库建表，并导入数据并做性能测试。 clickhouse特点： 数据通过小批量Batch存储 支持高强度的写操作（数千行写入/每秒） 读数据量非常小 ...
【JMeter-ClickHouse】使用JMeter对ClickHouse的查询性能进行压测
weixin_53543905的博客
03-10 1381
ClickHouse的连接驱动JMeter自身没有集成，需要我们自行添加，否则就会出现找不到驱动的异常。将star schema转换为flat schema，为后面查询性能压测做准备。这里选取几个常用的监听器进行举例，其中响应时间单位均为。路径下，如果有重复的就跳过添加。将所有jar包放入到。【JMeter-ClickHouse】使用JMeter对ClickHouse的查询性能进行压测
MongoDB集群搭建与分片详解
"MongoDB集群搭建包括mongod(分片存储数据)、mongos(路由处理)、config server(配置节点)以及client(客户端)，还有仲裁节点(arbiter)用于选举主节点。集群通过sharding(分片)提高数据QPS，mongos作为路由器决定数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值