ClickHouse开源数据库

最新推荐文章于 2024-09-17 09:15:00 发布
最新推荐文章于 2024-09-17 09:15:00 发布
阅读量397 收藏
点赞数
文章标签： 数据库 嵌入式 大数据
原文链接：http://www.cnblogs.com/davygeek/p/8018292.html
版权

ClickHouse是一个开源的面向列式数据的数据库管理系统，能够使用SQL查询并且生成实时数据报告。

 

优点:

1.并行处理单个查询（利用多核）

2.在多个服务器上分布式处理

3.非常快的扫描，可用于实时查询

4.列存储非常适用于“宽”/“非规格化”表（多列）

5.良好的压缩特性

6.SQL支持（有限的支持）

7.一系列函数的支持，包括对近似计算的支持

8.不同的存储引擎的支持（磁盘存储格式）

9.非常适合结构性日志/事件数据以及时间序列数据（引擎的合并树需要日期字段）

10. 索引支持（仅主键支持，不是所有的存储引擎都支持）

11.漂亮的命令行界面，用户友好的进度条和格式

 

缺点:

1.不支持实时的删除/更新操作，不支持事物（与Spark和大部分大数据系统一样）

2.不支持二级索引（与Spark和大部分大数据系统一样）

3.只支持自己的协议（不支持MySQL协议）

4.有限的SQL支持，join的实现方式不同。如果您正在从MySQL或Spark迁移数据，那么您必须重新编写包含join的所有查询。

5.没有窗口功能

 

Group by: in-memory vs. on-disk

内存不足是在ClickHouse中处理大型数据集时可能遇到的潜在问题之一：

SELECT 
    min(toMonth(date)), 
    max(toMonth(date)), 
    path, 
    count(*), 
    sum(hits), 
    sum(hits) / count(*) AS hit_ratio
FROM wikistat 
WHERE (project = 'en') 
GROUP BY path
ORDER BY hit_ratio DESC
LIMIT 10
 
↖ Progress: 1.83 billion rows, 85.31 GB (68.80 million rows/s., 3.21 GB/s.) ██████████▋                                                                                                                                                    6%Received exception from server:
Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. 
DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB: 
(while reading column hits):

默认情况下，ClickHouse会限制group by使用的内存量（它使用 hash table来处理group by）。这很容易解决 - 如果你有空闲的内存，增加这个参数：

SET max_memory_usage = 128000000000; #128G，

 

如果你没有那么多的内存可用，ClickHouse可以通过设置这个“溢出”数据到磁盘：

set max_bytes_before_external_group_by=20000000000; #20G
set max_memory_usage=40000000000; #40G

根据文档，如果需要使用max_bytes_before_external_group_by，建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍。

（原因是聚合需要分两个阶段进行：1.查询并且建立中间数据 2.合并中间数据。 数据“溢出”到磁盘一般发生在第一个阶段，如果没有发生数据“溢出”，ClickHouse在阶段1和阶段2可能需要相同数量的内存）

 

 性能对比:

ClickHouse vs. Spark

ClickHouse 和Spark 都是分布式的； 但是为了方便测试我们只进行单节点测试。 测试结果令人震惊

Size / compressionSpark v. 2.0.2ClickHouse
数据存储格式Parquet, compressed: snappyInternal storage, compressed
Size (uncompressed: 1.2TB)395G212G

 

 

 Test Spark v. 2.0.2ClickHouseDiff
Query 1: count (warm)7.37 sec (no disk IO)6.61 sec ~same
Query 2: simple group (warm) 792.55 sec (no disk IO)37.45 sec21x better
Query 3: complex group by  2522.9 sec 398.55 sec 6.3x better
 

附录：

硬件

  • CPU: 24xIntel(R) Xeon(R) CPU L5639 @ 2.13GHz (physical = 2, cores = 12, virtual = 24, hyperthreading = yes)
  • Disk: 2 consumer grade SSD in software RAID 0 (mdraid)

Query 1

select count(*) from wikistat

ClickHouse:

:)  select count(*) from wikistat;
 
SELECT count(*)
FROM wikistat 
 
┌─────count()─┐
│ 26935251789 │
└─────────────┘
 
1 rows in set. Elapsed: 6.610 sec. Processed 26.88 billion rows, 53.77 GB (4.07 billion rows/s., 8.13 GB/s.)

 

Spark:

spark-sql> select count(*) from wikistat;
26935251789
Time taken: 7.369 seconds, Fetched 1 row(s)

Query 2

select count(*), month(dt) as mon
from wikistat where year(dt)=2008
and month(dt) between 1 and 10
group by month(dt)
order by month(dt);

ClickHouse:

:) select count(*), toMonth(date) as mon from wikistat 
where toYear(date)=2008 and toMonth(date) between 1 and 10 group by mon;
 
SELECT 
    count(*), 
    toMonth(date) AS mon
FROM wikistat 
WHERE (toYear(date) = 2008) AND ((toMonth(date) >= 1) AND (toMonth(date) <= 10))
GROUP BY mon
 
┌────count()─┬─mon─┐
│ 2100162604 │   1 │
│ 1969757069 │   2 │
│ 2081371530 │   3 │
│ 2156878512 │   4 │
│ 2476890621 │   5 │
│ 2526662896 │   6 │
│ 2489723244 │   7 │
│ 2480356358 │   8 │
│ 2522746544 │   9 │
│ 2614372352 │  10 │
└────────────┴─────┘
 
10 rows in set. Elapsed: 37.450 sec. Processed 23.37 billion rows, 46.74 GB (623.97 million rows/s., 1.25 GB/s.)

Spark:

spark-sql> select count(*), month(dt) as mon from wikistat where year(dt)=2008 and month(dt) between 1 and 10 group by month(dt) order by month(dt);
2100162604      1                                                               
1969757069      2
2081371530      3
2156878512      4
2476890621      5
2526662896      6
2489723244      7
2480356358      8
2522746544      9
2614372352      10
Time taken: 792.552 seconds, Fetched 10 row(s)

 

Query 3

SELECT
path,
count(*),
sum(hits) AS sum_hits,
round(sum(hits) / count(*), 2) AS hit_ratio
FROM wikistat
WHERE project = 'en'
GROUP BY path
ORDER BY sum_hits DESC
LIMIT 100;

ClickHouse:

:) SELECT
:-]     path,
:-]     count(*),
:-]     sum(hits) AS sum_hits,
:-]     round(sum(hits) / count(*), 2) AS hit_ratio
:-] FROM wikistat
:-] WHERE (project = 'en')
:-] GROUP BY path
:-] ORDER BY sum_hits DESC
:-] LIMIT 100;
 
SELECT 
    path,
    count(*),
    sum(hits) AS sum_hits,
    round(sum(hits) / count(*), 2) AS hit_ratio
FROM wikistat
WHERE project = 'en'
GROUP BY path
ORDER BY sum_hits DESC
LIMIT 100
 
┌─path────────────────────────────────────────────────┬─count()─┬───sum_hits─┬─hit_ratio─┐
│ Special:Search                                      │   44795 │ 4544605711 │ 101453.41 │
│ Main_Page                                           │   31930 │ 2115896977 │  66266.74 │
│ Special:Random                                      │   30159 │  533830534 │  17700.54 │
│ Wiki                                                │   10237 │   40488416 │   3955.11 │
│ Special:Watchlist                                   │   38206 │   37200069 │    973.67 │
│ YouTube                                             │    9960 │   34349804 │   3448.78 │
│ Special:Randompage                                  │    8085 │   28959624 │    3581.9 │
│ Special:AutoLogin                                   │   34413 │   24436845 │    710.11 │
│ Facebook                                            │    7153 │   18263353 │   2553.24 │
│ Wikipedia                                           │   23732 │   17848385 │    752.08 │
│ Barack_Obama                                        │   13832 │   16965775 │   1226.56 │
│ index.html                                          │    6658 │   16921583 │   2541.54 │
…
 
100 rows in set. Elapsed: 398.550 sec. Processed 26.88 billion rows, 1.24 TB (67.45 million rows/s., 3.10 GB/s.)

Spark:

spark-sql> SELECT
         >     path,
         >     count(*),
         >     sum(hits) AS sum_hits,
         >     round(sum(hits) / count(*), 2) AS hit_ratio
         > FROM wikistat
         > WHERE (project = 'en')
         > GROUP BY path
         > ORDER BY sum_hits DESC
         > LIMIT 100;
...
Time taken: 2522.903 seconds, Fetched 100 row(s)

 

 

ClickHouse适用场景

1. Web和App数据分析

2. 广告网络和RTB

3. 电信

4. 电子商务和金融

5. 信息安全

6. 监测和遥测

7. 时序数据

8. 商业智能

9. 在线游戏

10. 物联网

 

 

ClickHouse不适用场景

1. 事物性工作（OLTP）

2. 高并发的键值访问

3. Blob或者文档存储

4. 超标准化的数据 

 

参考:

https://www.percona.com/blog/2017/02/13/clickhouse-new-opensource-columnar-database/

https://clickhouse.yandex/docs/en/single/#ClickHouse%20features%20that%20can%20be%20considered%20disadvantages

 

 

转载于:https://www.cnblogs.com/davygeek/p/8018292.html

weixin_30550271
关注
Clickhouse NoSQL数据库详解
悦分享
10-04 883
ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
ClickHouse.开源的列存储数据库管理系统
12-22
开源的列存储数据库管理系统，支持线性扩展，简单方便，高可靠性 适合初学者进行学习和了解
4. Cloud + TSDB for ClickHouse QingCloud.pdf
08-26
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。 传统数据库在数据大小比较小，索引大小适合内存，数据缓存命中率足够高的情形下能正常提供服务。但残酷的是，这种理想情形最终会随着业务的增长走到尽头，查询会变得越来越慢。你可能通过增加更多的内存，订购更快的磁盘等等来解决问题（纵向扩展），但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果，那么ClickHouse也许可以解决你的问题。
云原生小课堂 | 一文入门性能凶悍的开源分析数据库ClickHouse
alauda_andy的博客
04-28 779
本期【云原生小课堂】将手把手带你入门性能凶悍的开源分析数据库ClickHouse
深入理解 ClickHouse 的性能调优与最佳实践
最新发布
hello.reader
09-17 1567
ClickHouse是一款由 Yandex 开发的开源列式数据库，专为在线分析处理（OLAP）场景设计。它以极高的查询性能著称，尤其适用于大规模数据的快速聚合和分析。自发布以来，ClickHouse 在多个行业中得到了广泛应用，例如日志分析、监控系统、用户行为分析、广告监控等。ClickHouse 的核心优势在于其列式存储架构高效的数据压缩、以及分布式处理能力。这些特性使得它能够在处理 TB 甚至 PB 级别的大数据时，依然保持快速的响应时间。
ClickHouse时间序列数据处理
互联网知识分享
09-15 976
时间窗口是指在一定时间范围内对时间序列数据进行分析的窗口。以上代码案例包括创建表、插入数据、时间窗口聚合、时间序列数据采样、时间序列数据过滤和时间序列数据变换等操作。提供了丰富的功能和用法来处理时间序列数据，包括时间窗口聚合、数据采样、数据过滤和数据变换等。中，时间序列数据处理是一个重要的应用场景，它涉及到对时间序列数据进行聚合、过滤、变换和分析等操作。时间序列数据变换是指对原始数据进行一定的转换操作，例如数据平滑、差分、归一化等。时间窗口聚合是指在指定的时间窗口内对数据进行聚合计算。函数来指定时间窗口。
数据源新增支持Elasticsearch和ClickHouse，DataEase开源数据可视化分析平台v1.3.0发布
FIT2CLOUD飞致云的博客
10-18 642
新增对组合图、水波图、明细表等视图类型的支持。
clickhouse
热门推荐
weixin_45596022的博客
03-31 2万+
一，clickhouse特点 1.列式存储 行存储 好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。 id 姓名 年龄 1 张三 18 2 李四 19 3 王五 20 列存储 列存储的好处 1 对于列的聚合，计数，求和等统计操作要优于行式存储。 2 由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重。
5、ClickHouse查看数据库容量、表的指标、表分区、数据大小等
05-29
ClickHouse是一款专为在线分析处理(OLAP)设计的高性能开源列式数据库管理系统。它以其卓越的性能、列式存储、支持SQL查询、索引、分布式查询和近似计算等功能，在大数据领域广受青睐。本篇文章主要介绍了如何在...
【开源实战笔记】APIJSON对clickhouse数据库删除修改的支持1
08-04
APIJSON对ClickHouse数据库删除修改的支持 在本文中，我们将探讨APIJSON对ClickHouse数据库删除修改的支持。作为一款强大的数据库管理系统，ClickHouse提供了高效的数据处理和存储能力，但是其SQL语句格式与传统...
SpringBoot2 整合 ClickHouse数据库案例解析
08-25
ClickHouse是一个由Yandex开发的开源数据库，专门用于数据分析（OLAP）场景，尤其适合处理大规模的实时数据查询。它以其高性能、低延迟和列式存储的特点在大数据领域中受到关注。 1. ClickHouse简介： - ...
infiniDB与clickhouse对比.pdf
08-26
结果： 1、infiniDB会使用所有CPU，而clickhouse最多使用10个。 2、clickhouse在大数据量的时候，处理速度还是比较令人满意的。 3、clickhouse在导入数据的时候，查询会被卡住，而infiniDB不会。 4、infiniDB性能更好。
Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘
06-03 4371
一、CK 分布式表和本地表（1）CK是一个纯列式存储的数据库，一个列就是硬盘上的一个或多个文件（多个分区有多个文件），关于列式存储这里就不展开了，总之列存对于分析来讲好处更大，因为每个列单独存储，所以每一列数据可以压缩，不仅节省了硬盘，还可以降低磁盘IO。（2）CK是多核并行处理的，为了充分利用CPU资源，多线程和多核必不可少，同时向量化执行也会大幅提高速度。（3）提供SQL查询接口，CK的客户端连接方式分为HTTP和TCP，TCP更加底层和高效，HTTP更容易使用和扩展，一般来说HTTP足矣，社区已经有很
ClickHouse的时间序列分析
AI天才研究院
01-25 714
1.背景介绍 1. 背景介绍 时间序列分析是一种处理和分析时间戳数据的方法，主要用于预测、趋势分析和异常检测等应用。ClickHouse是一个高性能的时间序列数据库，旨在解决大规模时间序列数据的存储和查询问题。本文将深入探讨ClickHouse的时间序列分析，涵盖核心概念、算法原理、最佳实践和实际应用场景等方面。 2. 核心概念与联系 2.1 时间序列数据 时间序列数据是一种按照时间顺序...
时间序列数据分析：ClickHouse在时间序列场景的优势
AI天才研究院
01-21 1030
1.背景介绍 在现代数据科学中，时间序列数据分析是一个重要的领域。时间序列数据是按照时间顺序记录的数据序列，通常用于预测、诊断和控制。随着数据的增长和复杂性，选择合适的时间序列数据分析工具和技术变得至关重要。 ClickHouse是一个高性能的时间序列数据库，具有在时间序列场景中的许多优势。在本文中，我们将探讨ClickHouse在时间序列场景中的优势，并讨论如何利用其特性来解决实际问题。 ...
彪悍开源的分析数据库-ClickHouse
huojiao2006的博客
08-01 3758
今天介绍一个来自俄罗斯的凶猛彪悍的分析数据库：ClickHouse，它是今年6月开源，俄语社区为主，好酒不怕巷子深。 本文内容较长，分为三个部分：走马观花，死而后生，遥指杏花村；第一章，走马观花，初步了解一下基本特性；第二章，死而后生，介绍ClickHouse的技术架构演化的今生前世；第三章，遥指杏花村，介绍一些参考资料，包括一些俄文资料。 第一章，走马观花 俄罗斯的‘百度’叫做Yand...
ClickHouse 如何玩转时序数据
http://www.54tianzhisheng.cn/
10-22 1181
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章扫描下面二维码，回复CK02可获取本文提及到的PPT ...
面向列存储的开源数据库ClickHouse介绍
changlina_1989的博客
04-27 2118
clickhouse的详细介绍，包括原理性能快的原理、表引擎、集群搭建等说明。
clickhouse创建数据库脚本
07-03
ClickHouse是一个列式存储的开源分析型数据库管理系统，用于在线实时分析大量数据。创建ClickHouse数据库通常涉及编写SQL脚本来定义数据库结构。以下是一个简单的创建数据库的示例脚本： ```sql CREATE DATABASE ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值