DorisDB vs ClickHouse 查询测试

最新推荐文章于 2024-09-18 09:30:37 发布
最新推荐文章于 2024-09-18 09:30:37 发布
阅读量1.9k 收藏 5
点赞数 1
文章标签： sql 大数据 数据库 spark hive
原文链接：https://mp.weixin.qq.com/s/0XsqTV6arVRDSG-iiJkRbw#rd
版权

测试方法

为了方便用户快速的了解DorisDB的性能指标，这里我们提供了一个标准的Star schema benchmark的测试方法和工具仅供参考。

Star schema benchmark（以下简称SSB）是学术界和工业界广泛使用的一个星型模型测试集（来源论文），通过这个测试集合也可以容易的和其他OLAP产品进行性能对比。

测试数据

表名行数解释
lineorder6亿SSB商品订单表
customer300万SSB客户表
part140万SSB 零部件表
supplier20万SSB 供应商表
dates2556日期表
lineorder_flat6亿SSB打平后的宽表

测试数据环境

主机资源：

主机内存CPU
CentOS128G16core

DorisDB使用资源:

FE 单台，BE 5台 部署

内存CPU数量
80G16core6

ClickHouse使用资源:

内存CPU数量
80G16core1

说明：由于资源原因，DorisDB、ClickHouse集群和上同时部署了CDH集群和其他组件，所以该测试并不能100%代表DorisDB、ClickHouse的性能。

测试结果

单表测试结果如下

img

多表测试结果如下

img

测试过程

DorisDB

下载ssb-poc工具包并编译
wget http://dorisdb-public.oss-cn-zhangjiakou.aliyuncs.com/ssb-poc-0.9.zip
unzip ssb-poc-0.9.zip
cd ssb-poc
make && make install
#所有相关工具安装到output目录
生成数据
cd output 
# 运行生成数据的脚本
bin/gen-ssb.sh 100 data_dir
建表
CREATE TABLE IF NOT EXISTS `lineorder` (
  `lo_orderkey` int(11) NOT NULL COMMENT "",
  `lo_linenumber` int(11) NOT NULL COMMENT "",
  `lo_custkey` int(11) NOT NULL COMMENT "",
  `lo_partkey` int(11) NOT NULL COMMENT "",
  `lo_suppkey` int(11) NOT NULL COMMENT "",
  `lo_orderdate` int(11) NOT NULL COMMENT "",
  `lo_orderpriority` varchar(16) NOT NULL COMMENT "",
  `lo_shippriority` int(11) NOT NULL COMMENT "",
  `lo_quantity` int(11) NOT NULL COMMENT "",
  `lo_extendedprice` int(11) NOT NULL COMMENT "",
  `lo_ordtotalprice` int(11) NOT NULL COMMENT "",
  `lo_discount` int(11) NOT NULL COMMENT "",
  `lo_revenue` int(11) NOT NULL COMMENT "",
  `lo_supplycost` int(11) NOT NULL COMMENT "",
  `lo_tax` int(11) NOT NULL COMMENT "",
  `lo_commitdate` int(11) NOT NULL COMMENT "",
  `lo_shipmode` varchar(11) NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`lo_orderkey`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`lo_orderkey`) BUCKETS 96
PROPERTIES (
"replication_num" = "1",
"colocate_with" = "group1",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);
  
  
CREATE TABLE IF NOT EXISTS `customer` (
  `c_custkey` int(11) NOT NULL COMMENT "",
  `c_name` varchar(26) NOT NULL COMMENT "",
  `c_address` varchar(41) NOT NULL COMMENT "",
  `c_city` varchar(11) NOT NULL COMMENT "",
  `c_nation` varchar(16) NOT NULL COMMENT "",
  `c_region` varchar(13) NOT NULL COMMENT "",
  `c_phone` varchar(16) NOT NULL COMMENT "",
  `c_mktsegment` varchar(11) NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`c_custkey`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`c_custkey`) BUCKETS 12
PROPERTIES (
"replication_num" = "1",
"colocate_with" = "groupa2",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);
  
  
CREATE TABLE IF NOT EXISTS `dates` (
  `d_datekey` int(11) NOT NULL COMMENT "",
  `d_date` varchar(20) NOT NULL COMMENT "",
  `d_dayofweek` varchar(10) NOT NULL COMMENT "",
  `d_month` varchar(11) NOT NULL COMMENT "",
  `d_year` int(11) NOT NULL COMMENT "",
  `d_yearmonthnum` int(11) NOT NULL COMMENT "",
  `d_yearmonth` varchar(9) NOT NULL COMMENT "",
  `d_daynuminweek` int(11) NOT NULL COMMENT "",
  `d_daynuminmonth` int(11) NOT NULL COMMENT "",
  `d_daynuminyear` int(11) NOT NULL COMMENT "",
  `d_monthnuminyear` int(11) NOT NULL COMMENT "",
  `d_weeknuminyear` int(11) NOT NULL COMMENT "",
  `d_sellingseason` varchar(14) NOT NULL COMMENT "",
  `d_lastdayinweekfl` int(11) NOT NULL COMMENT "",
  `d_lastdayinmonthfl` int(11) NOT NULL COMMENT "",
  `d_holidayfl` int(11) NOT NULL COMMENT "",
  `d_weekdayfl` int(11) NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`d_datekey`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`d_datekey`) BUCKETS 1
PROPERTIES (
"replication_num" = "1",
"in_memory" = "false",
"colocate_with" = "groupa3",
"storage_format" = "DEFAULT"
);
  
 CREATE TABLE IF NOT EXISTS `supplier` (
  `s_suppkey` int(11) NOT NULL COMMENT "",
  `s_name` varchar(26) NOT NULL COMMENT "",
  `s_address` varchar(26) NOT NULL COMMENT "",
  `s_city` varchar(11) NOT NULL COMMENT "",
  `s_nation` varchar(16) NOT NULL COMMENT "",
  `s_region` varchar(13) NOT NULL COMMENT "",
  `s_phone` varchar(16) NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`s_suppkey`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`s_suppkey`) BUCKETS 12
PROPERTIES (
"replication_num" = "1",
"colocate_with" = "groupa4",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);
  
CREATE TABLE IF NOT EXISTS `part` (
  `p_partkey` int(11) NOT NULL COMMENT "",
  `p_name` varchar(23) NOT NULL COMMENT "",
  `p_mfgr` varchar(7) NOT NULL COMMENT "",
  `p_category` varchar(8) NOT NULL COMMENT "",
  `p_brand` varchar(10) NOT NULL COMMENT "",
  `p_color` varchar(12) NOT NULL COMMENT "",
  `p_type` varchar(26) NOT NULL COMMENT "",
  `p_size` int(11) NOT NULL COMMENT "",
  `p_container` varchar(11) NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`p_partkey`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`p_partkey`) BUCKETS 12
PROPERTIES (
"replication_num" = "1",
"colocate_with" = "groupa5",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);
  
CREATE TABLE IF NOT EXISTS `lineorder_flat` (
  `LO_ORDERKEY` int(11) NOT NULL COMMENT "",
  `LO_ORDERDATE` date NOT NULL COMMENT "",
  `LO_LINENUMBER` tinyint(4) NOT NULL COMMENT "",
  `LO_CUSTKEY` int(11) NOT NULL COMMENT "",
  `LO_PARTKEY` int(11) NOT NULL COMMENT "",
  `LO_SUPPKEY` int(11) NOT NULL COMMENT "",
  `LO_ORDERPRIORITY` varchar(100) NOT NULL COMMENT "",
  `LO_SHIPPRIORITY` tinyint(4) NOT NULL COMMENT "",
  `LO_QUANTITY` tinyint(4) NOT NULL COMMENT "",
  `LO_EXTENDEDPRICE` int(11) NOT NULL COMMENT "",
  `LO_ORDTOTALPRICE` int(11) NOT NULL COMMENT "",
  `LO_DISCOUNT` tinyint(4) NOT NULL COMMENT "",
  `LO_REVENUE` int(11) NOT NULL COMMENT "",
  `LO_SUPPLYCOST` int(11) NOT NULL COMMENT "",
  `LO_TAX` tinyint(4) NOT NULL COMMENT "",
  `LO_COMMITDATE` date NOT NULL COMMENT "",
  `LO_SHIPMODE` varchar(100) NOT NULL COMMENT "",
  `C_NAME` varchar(100) NOT NULL COMMENT "",
  `C_ADDRESS` varchar(100) NOT NULL COMMENT "",
  `C_CITY` varchar(100) NOT NULL COMMENT "",
  `C_NATION` varchar(100) NOT NULL COMMENT "",
  `C_REGION` varchar(100) NOT NULL COMMENT "",
  `C_PHONE` varchar(100) NOT NULL COMMENT "",
  `C_MKTSEGMENT` varchar(100) NOT NULL COMMENT "",
  `S_NAME` varchar(100) NOT NULL COMMENT "",
  `S_ADDRESS` varchar(100) NOT NULL COMMENT "",
  `S_CITY` varchar(100) NOT NULL COMMENT "",
  `S_NATION` varchar(100) NOT NULL COMMENT "",
  `S_REGION` varchar(100) NOT NULL COMMENT "",
  `S_PHONE` varchar(100) NOT NULL COMMENT "",
  `P_NAME` varchar(100) NOT NULL COMMENT "",
  `P_MFGR` varchar(100) NOT NULL COMMENT "",
  `P_CATEGORY` varchar(100) NOT NULL COMMENT "",
  `P_BRAND` varchar(100) NOT NULL COMMENT "",
  `P_COLOR` varchar(100) NOT NULL COMMENT "",
  `P_TYPE` varchar(100) NOT NULL COMMENT "",
  `P_SIZE` tinyint(4) NOT NULL COMMENT "",
  `P_CONTAINER` varchar(100) NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`LO_ORDERKEY`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`LO_ORDERKEY`) BUCKETS 192
PROPERTIES (
"replication_num" = "1",
"colocate_with" = "groupxx1",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);
导入数据

通过stream load

#执行导入数据的脚本`
bin /stream_load.sh data_dir
生成ssb单表数据
bin/flat_insert.sh
查询
单表查询

测试ssb单表查询(SQL 参见 share/ssb_test/sql/ssb-flat/)

bin/benchmark.sh -p -d ssb-flat

查询结果：

image2021-4-16_16-50-49.png
多表查询

测试ssb多表查询 (SQL 参见 share/ssb_test/sql/ssb/)

bin/benchmark.sh -p -d ssb

查询结果

image2021-4-16_17-3-4.png

Clickhouse

下载安装 dbgen
git clone https://github.com/vadimtk/ssb-dbgen.git 

cd ssb-dbgen make
生成数据
./dbgen -s 1000 -T c 
./dbgen -s 1000 -T l 
./dbgen -s 1000 -T p 
./dbgen -s 1000 -T s 
./dbgen -s 1000 -T d
在ClickHouse中创建表
CREATE TABLE test.customer(C_CUSTKEY UInt32,C_NAME String,C_ADDRESS String,C_CITY LowCardinality (String),C_NATION LowCardinality (String),C_REGION LowCardinality (String),C_PHONE String,C_MKTSEGMENT LowCardinality (String))ENGINE = MergeTree ORDER BY (C_CUSTKEY);
CREATE TABLE test.lineorder (LO_ORDERKEY UInt32,LO_LINENUMBER UInt8,LO_CUSTKEY UInt32,LO_PARTKEY UInt32,LO_SUPPKEY UInt32,LO_ORDERDATE Date,LO_ORDERPRIORITY LowCardinality (String),LO_SHIPPRIORITY UInt8,LO_QUANTITY UInt8,LO_EXTENDEDPRICE UInt32,LO_ORDTOTALPRICE UInt32,LO_DISCOUNT UInt8,LO_REVENUE UInt32,LO_SUPPLYCOST UInt32,LO_TAX UInt8,LO_COMMITDATE Date,LO_SHIPMODE LowCardinality (String) ) ENGINE = MergeTree PARTITION BY toYear (LO_ORDERDATE) ORDER BY(LO_ORDERDATE, LO_ORDERKEY);
CREATE TABLE test.part (P_PARTKEY UInt32,P_NAME String,P_MFGR LowCardinality (String),P_CATEGORY LowCardinality (String),P_BRAND LowCardinality (String),P_COLOR LowCardinality (String),P_TYPE LowCardinality (String),P_SIZE UInt8,P_CONTAINER LowCardinality (String) ) ENGINE = MergeTree ORDER BY P_PARTKEY;
CREATE TABLE test.supplier (S_SUPPKEY UInt32,S_NAME String,S_ADDRESS String,S_CITY LowCardinality (String),S_NATION LowCardinality (String),S_REGION LowCardinality (String),S_PHONE String) ENGINE = MergeTree ORDER BY S_SUPPKEY;
CREATE TABLE test.date(D_DATEKEY UInt32,D_DATE String,D_DAYOFWEEK String,D_MONTH String,D_YEAR UInt32,D_YEARMONTHNUM UInt32,D_YEARMONTH String,D_DAYNUMINWEEK UInt32,D_DAYNUMINMONTH UInt32,D_DAYNUMINYEAR UInt32,D_MONTHNUMINYEAR UInt32,D_WEEKNUMINYEAR UInt32,D_SELLINGSEASON String,D_LASTDAYINWEEKFL UInt32,D_LASTDAYINMONTHFL UInt32,D_HOLIDAYFL UInt32,D_WEEKDAYFL UInt32) ENGINE = MergeTree ORDER BY D_DATEKEY;
导入数据
clickhouse-client -h prd-worker05 --port=9002 --query "INSERT INTO test.customer FORMAT CSV" < customer.tbl clickhouse-client -h prd-worker05 --port=9002 --query "INSERT INTO test.part FORMAT CSV" < part.tbl clickhouse-client -h prd-worker05 --port=9002 --query "INSERT INTO test.supplier FORMAT CSV" < supplier.tbl clickhouse-client -h prd-worker05 --port=9002 --query "INSERT INTO test.lineorder FORMAT CSV" < lineorder.tbl clickhouse-client -h prd-worker05 --port=9002 --query "INSERT INTO test.dates FORMAT CSV" < date.tbl

将"星型模式"转换为非规范化的"平面模式"

set max_memory_usage_for_all_queries=80000000000; 
set max_memory_usage=80000000000; 
set max_bytes_before_external_group_by=40000000000; 

CREATE TABLE lineorder_flat ENGINE = MergeTree PARTITION BY toYear(LO_ORDERDATE) ORDER BY (LO_ORDERDATE, LO_ORDERKEY) AS SELECT l.LO_ORDERKEY AS LO_ORDERKEY,l.LO_LINENUMBER AS LO_LINENUMBER,l.LO_CUSTKEY AS LO_CUSTKEY,l.LO_PARTKEY AS LO_PARTKEY,l.LO_SUPPKEY AS LO_SUPPKEY,l.LO_ORDERDATE AS LO_ORDERDATE,l.LO_ORDERPRIORITY AS LO_ORDERPRIORITY,l.LO_SHIPPRIORITY AS LO_SHIPPRIORITY,l.LO_QUANTITY AS LO_QUANTITY,l.LO_EXTENDEDPRICE AS LO_EXTENDEDPRICE,l.LO_ORDTOTALPRICE AS LO_ORDTOTALPRICE,l.LO_DISCOUNT AS LO_DISCOUNT,l.LO_REVENUE AS LO_REVENUE,l.LO_SUPPLYCOST AS LO_SUPPLYCOST,l.LO_TAX AS LO_TAX,l.LO_COMMITDATE AS LO_COMMITDATE,l.LO_SHIPMODE AS LO_SHIPMODE,c.C_NAME AS C_NAME,c.C_ADDRESS AS C_ADDRESS,c.C_CITY AS C_CITY,c.C_NATION AS C_NATION,c.C_REGION AS C_REGION,c.C_PHONE AS C_PHONE,c.C_MKTSEGMENT AS C_MKTSEGMENT,s.S_NAME AS S_NAME,s.S_ADDRESS AS S_ADDRESS,s.S_CITY AS S_CITY,s.S_NATION AS S_NATION,s.S_REGION AS S_REGION,s.S_PHONE AS S_PHONE,p.P_NAME AS P_NAME,p.P_MFGR AS P_MFGR,p.P_CATEGORY AS P_CATEGORY,p.P_BRAND AS P_BRAND,p.P_COLOR AS P_COLOR,p.P_TYPE AS P_TYPE,p.P_SIZE AS P_SIZE,p.P_CONTAINER AS P_CONTAINER FROM lineorder AS l INNER JOIN customer AS c ON c.C_CUSTKEY = l.LO_CUSTKEY INNER JOIN supplier AS s ON s.S_SUPPKEY = l.LO_SUPPKEY INNER JOIN part AS p ON p.P_PARTKEY = l.LO_PARTKEY;
查询:

Q1.1

SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue FROM lineorder_flat WHERE toYear(LO_ORDERDATE) = 1993 AND LO_DISCOUNT BETWEEN 1 AND 3 AND LO_QUANTITY < 25;

Q1.2

SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue FROM lineorder_flat WHERE toYYYYMM(LO_ORDERDATE) = 199401 AND LO_DISCOUNT BETWEEN 4 AND 6 AND LO_QUANTITY BETWEEN 26 AND 35;

Q1.3

SELECT sum(LO_EXTENDEDPRICE * LO_DISCOUNT) AS revenue
FROM lineorder_flat
WHERE toISOWeek(LO_ORDERDATE) = 6 AND toYear(LO_ORDERDATE) = 1994
  AND LO_DISCOUNT BETWEEN 5 AND 7 AND LO_QUANTITY BETWEEN 26 AND 35;

Q2.1

SELECT
   sum(LO_REVENUE),
   toYear(LO_ORDERDATE) AS year,
   P_BRAND
FROM lineorder_flat
WHERE P_CATEGORY = 'MFGR#12' AND S_REGION = 'AMERICA'
GROUP BY
    year,
   P_BRAND
ORDER BY
    year,
   P_BRAND;

Q2.2

SELECT
   sum(LO_REVENUE),
   toYear(LO_ORDERDATE) AS year,
   P_BRAND
FROM lineorder_flat
WHERE P_BRAND >= 'MFGR#2221' AND P_BRAND <= 'MFGR#2228' AND S_REGION = 'ASIA'
GROUP BY
    year,
   P_BRAND
ORDER BY
    year,
   P_BRAND;

Q2.3

SELECT
   sum(LO_REVENUE),
   toYear(LO_ORDERDATE) AS year,
   P_BRAND
FROM lineorder_flat
WHERE P_BRAND = 'MFGR#2239' AND S_REGION = 'EUROPE'
GROUP BY
    year,
   P_BRAND
ORDER BY
    year,
   P_BRAND;

Q3.1

SELECT
   C_NATION,
   S_NATION,
   toYear(LO_ORDERDATE) AS year,
   sum(LO_REVENUE) AS revenue
FROM lineorder_flat
WHERE C_REGION = 'ASIA' AND S_REGION = 'ASIA' AND year >= 1992 AND year <= 1997
GROUP BY
   C_NATION,
   S_NATION,
    year
ORDER BY
    year ASC,
   revenue DESC;

Q3.2

SELECT
   C_CITY,
   S_CITY,
   toYear(LO_ORDERDATE) AS year,
   sum(LO_REVENUE) AS revenue
FROM lineorder_flat
WHERE C_NATION = 'UNITED STATES' AND S_NATION = 'UNITED STATES' AND year >= 1992 AND year <= 1997
GROUP BY
   C_CITY,
   S_CITY,
    year
ORDER BY
    year ASC,
   revenue DESC;

Q3.3

SELECT
   C_CITY,
   S_CITY,
   toYear(LO_ORDERDATE) AS year,
   sum(LO_REVENUE) AS revenue
FROM lineorder_flat
WHERE (C_CITY = 'UNITED KI1' OR C_CITY = 'UNITED KI5') AND (S_CITY = 'UNITED KI1' OR S_CITY = 'UNITED KI5') AND year >= 1992 AND year <= 1997
GROUP BY
   C_CITY,
   S_CITY,
    year
ORDER BY
    year ASC,
   revenue DESC;

Q3.4

SELECT
   C_CITY,
   S_CITY,
   toYear(LO_ORDERDATE) AS year,
   sum(LO_REVENUE) AS revenue
FROM lineorder_flat
WHERE (C_CITY = 'UNITED KI1' OR C_CITY = 'UNITED KI5') AND (S_CITY = 'UNITED KI1' OR S_CITY = 'UNITED KI5') AND toYYYYMM(LO_ORDERDATE) = 199712
GROUP BY
   C_CITY,
   S_CITY,
    year
ORDER BY
    year ASC,
   revenue DESC;

Q4.1

SELECT
   toYear(LO_ORDERDATE) AS year,
   C_NATION,
   sum(LO_REVENUE - LO_SUPPLYCOST) AS profit
FROM lineorder_flat
WHERE C_REGION = 'AMERICA' AND S_REGION = 'AMERICA' AND (P_MFGR = 'MFGR#1' OR P_MFGR = 'MFGR#2')
GROUP BY
    year,
   C_NATION
ORDER BY
    year ASC,
   C_NATION ASC;

Q4.2

SELECT
   toYear(LO_ORDERDATE) AS year,
   S_NATION,
   P_CATEGORY,
   sum(LO_REVENUE - LO_SUPPLYCOST) AS profit
FROM lineorder_flat
WHERE C_REGION = 'AMERICA' AND S_REGION = 'AMERICA' AND (year = 1997 OR year = 1998) AND (P_MFGR = 'MFGR#1' OR P_MFGR = 'MFGR#2')
GROUP BY
    year,
   S_NATION,
   P_CATEGORY
ORDER BY
    year ASC,
   S_NATION ASC,
   P_CATEGORY ASC;

Q4.3

SELECT
   toYear(LO_ORDERDATE) AS year,
   S_CITY,
   P_BRAND,
   sum(LO_REVENUE - LO_SUPPLYCOST) AS profit
FROM lineorder_flat
WHERE S_NATION = 'UNITED STATES' AND (year = 1997 OR year = 1998) AND P_CATEGORY = 'MFGR#14'
GROUP BY
    year,
   S_CITY,
   P_BRAND
ORDER BY
    year ASC,
   S_CITY ASC,
   P_BRAND ASC;
查询结果
单表查询结果
img
多表查询结果


如果你有更多问题欢迎加入我们的群聊

点个 在看 你最好看

大数据技术派
关注
DorisDB在千亿级日增数据场景下替换Greenplum的实践
cover_se的博客
04-23 16
原Greenplum集群在进行10亿*1亿的关联查询时达到极限，无法支撑更大数据量级的关联查询。使用DorisDB替换Greenplum构建新的集群，在进行736亿*15亿的超大量级数据关联查询时，不仅可以顺利完成，并且耗时很短，对业务的整体提升巨大。 一、使用背景 1.1选用原因 我司原有业务查询使用的数据库为Greenplum，在数据源变更后，数据量从原来的日增千万级别(近百...
跨越速运 x StarRocks：统一查询引擎，强悍性能带来极速体验
StarRocks的博客
09-02 437
跨越速运集团有限公司创建于2007年，目前服务网点超过3000家，覆盖城市500余个，是中国物流服务行业独角兽企业。跨越集团大数据中心负责全集团所有数据平台组件的建设和维护，支撑20余条核心业务线，面向集团5万多员工的使用。目前，大数据中心已建设数据查询接口1W+，每天调用次数超过1千万，TP99在1秒以下。我们利用DorisDB作为通用查询引擎，有效解决了原架构大量查询返回时间过长，性能达不到预期的问题。 “ 作者：张杰 跨越集团大数据运维架构师，负责集团公司大数据平台的维护和建设 ” 业务背景 总体
技术选型-DorisDB Vs ClickHouse Vs GreenPlum.pdf
04-15
OLAP技术选型，DorisDB Vs ClickHouse Vs GreenPlum，内容来自鼎⽯⼯程师-张恒，仅供学习收藏。
Doris 与 Clickhouse 对比（一）
悦上心灵的博客
01-26 1887
常用引擎 Join方式 数据划分
【查询优化】Doris性能优化不要慌，再看看这里！
最新发布
微信搜：import_bigdata，大数据领域硬核原创作者
09-18 971
《Doris性能优化不要慌，再看看这里！- Join优化》《Doris性能优化不要慌，再看看这里！- 导入优化》这篇是第三部分查询优化。OLAP查询对于高并发查询，其核心在于如何平衡有限的系统资源消耗与并发执行带来的高负载。换而言之，需要最大化降低单个 SQL 执行时的 CPU、内存和 IO 开销，其关键在于减少底层数据的 Scan 以及随后的数据计算。Doris能够实现高并发查询的能力主要是通过...
Doris和ClickHouse详细介绍、优缺点深析、使用场景与选型建议
weixin_48313678的博客
06-20 2353
Apache Doris（原名Palo）是一个现代化的MPP（大规模并行处理）数据库，最初由百度开发并开源。Doris旨在提供高性能的实时分析查询，特别适合处理大规模数据集。ClickHouse是由俄罗斯Yandex开发的开源列式数据库管理系统，专为高性能实时分析查询设计。它以其卓越的查询性能和高效的数据压缩闻名。选择Doris：如果你的应用场景需要实时数据导入和分析，且对易用性要求较高，Doris是一个不错的选择。选择ClickHouse。
Doris 与 ClickHouse 的深度对比及选型建议
u011250186的博客
01-31 4305
Doris 与 ClickHouse 的深度对比及选型建议
致ClickHouse用户的一封信
过往记忆大数据
01-13 343
亲爱的ClickHouse用户：您好！感谢您在百忙之中抽出时间来阅读此信。虽然未曾谋面，但我们关注您已经有很长一段时间了。您的企业非常重视数据分析工作，想通过数据分析来提升运营效率，发现...
Doris和ClickHouse对比简介
03-07
从测试结果来看，在单表测试的13个查询中，DorisDB在9个查询上的执行速度优于ClickHouse，平均速度快约50%。这表明在某些特定查询上，DorisDB表现出更好的性能优势。 #### 三、架构设计与实现 1. **整体架构**： ...
TiDB 5.0 在TPCH和SSB基准测试下OLAP方面的能力表现
TiDB 社区干货传送门
09-30 258
作者：ORA-600 原文来源： https://tidb.net/blog/2370aaa4 ...
分布式数据库（DorisDB、Clickhouse、TiDB）调研
eagle89的专栏
02-15 3706
分布式数据库
强烈推荐｜DorisDB Vs ClickHouse Vs GreenPlum
http://www.54tianzhisheng.cn/
02-27 7935
强烈建议兄弟们可以抽时间看看这个分享，分享视频链接我会发出来，当你看完这个分享之后，你会知道为什么dorisdb会13个SSB单表查询中有9个比clickhouse快，dorisdb做了哪...
【JMeter-ClickHouse】使用JMeter对ClickHouse的查询性能进行压测
weixin_53543905的博客
03-10 1828
ClickHouse的连接驱动JMeter自身没有集成，需要我们自行添加，否则就会出现找不到驱动的异常。将star schema转换为flat schema，为后面查询性能压测做准备。这里选取几个常用的监听器进行举例，其中响应时间单位均为。路径下，如果有重复的就跳过添加。将所有jar包放入到。【JMeter-ClickHouse】使用JMeter对ClickHouse的查询性能进行压测
DorisDB vs ClickHouse SSB对比测试
FaN()
02-12 7282
DorisDB vs ClickHouse SSB对比测试 TL;DR 进行本次测试时对DorisDB了解甚微 本次测试由于服务器资源有限, 没有严格遵循单一变量原则进行测试 本次测试有一定参考意义 数据导入速度 ClickHouse: 3500s DorisDB: 5160s 数据压缩情况(通过磁盘占用空间比较) ClickHouse: 85.2G DorisDB: 132G 查询速度 单表查询 DorisDB1 DorisDB2 ClickHouse1 ClickHouse2
ClickHouse数据库性能测试报告
swpmvp的专栏
08-12 790
测试日期: 20223年3月15日至2023年3月20日。项目名称: ClickHouse数据库性能测试。
58集团 x StarRocks：满足多场景业务分析需求
StarRocks的博客
05-26 731
58集团是中国互联网生活服务领域的领导者，旗下有国内最大的生活服务平台，覆盖各类业务场景，例如车业务、房产业务、本地服务、招聘业务、金融业务等等。 随着业务的高速发展，越来越多的分析需求涌现，例如：安全分析、商业智能分析、数仓报表等。这些场景的数据体量都较大，对数据分析平台提出了很高的要求。为了满足这些分析型业务的需求，DBA团队从2021年初就开始调研各类分析型数据库，其中包括DorisDB、TiFlash、ClickHouse等，评测他们的性能及功能。 总体评测下来，DorisDB表现全面，在单表/多表
大数据应用之 --- apache doris 基于ssb测试
qq_41187116的博客
07-15 1095
大数据应用之 --- apache doris 基于ssb测试
CDH集成Doris（基于非AVX平台）
健身看书环游世界
05-22 648
这是借鉴大佬的文章原来的文章，shell有错误，并不能直接运行，这里使用小白的视角来运行编译一下。
DorisDB：新一代极速MPP数据库技术解析
DorisDB是一款面向OLAP（Online Analytical Processing）应用的高性能数据库，具备快速查询、实时分析和灵活扩展的能力，尤其适合需要高效数据分析的企业和组织。其设计和实现充分考虑了现代大数据处理的需求，是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值