clickhouse的引擎系列文章

已于 2023-11-25 06:37:17 修改
阅读量136 收藏
点赞数
分类专栏： linux 大数据 文章标签： clickhouse
于 2020-11-30 16:44:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833146/article/details/110370305
版权

clickhouse系列文章目录

第一章 clickhouse的表引擎

文章目录

前言

了解表引擎的作用
表引擎(即表的类型)决定了

  1. 数据的存储方式和位置,写到哪里以及从哪里读取数据
  2. 支持哪些查询以及如何支持
  3. 并发数据访问
  4. 索引的使用(如果存在)
  5. 是否可以执行多线程请求
  6. 数据复制参数

一、表引擎的种类

TinyLog

在这里插入图片描述
创建表用TinyLog

hadoop102 :) create table stu1(id Int8,name String)engine=TinyLog

CREATE TABLE stu1
(
    `id` Int8, 
    `name` String
)
ENGINE = TinyLog
Ok
0 rows in set. Elapsed: 0.003 sec.

查看表

#可以看出数据是列式的存放在文件中
[root@hadoop102 stu1]# ll
总用量 12
-rw-r----- 1 clickhouse clickhouse 27 11月 30 10:34 id.bin
-rw-r----- 1 clickhouse clickhouse 35 11月 30 10:34 name.bin
-rw-r----- 1 clickhouse clickhouse 64 11月 30 10:34 sizes.json
#通过查看sizes.json 文件,能看出文件的存储大小
[root@hadoop102 stu1]# cat sizes.json 
{"yandex":{"id%2Ebin":{"size":"27"},"name%2Ebin":{"size":"35"}}}[root@hadoop102 stu1]#
#id.bin和name.bin文件查看乱码

Merge

作用

Merge 引擎 (不要跟 MergeTree 引擎混淆) 本身不存储数据，但可用于同时从任意多个其他的表中读取数据。
读是自动并行的，不支持写入。读取时，那些被真正读取到数据的表的索引（如果有的话）会被使用。

创建表

CREATE TABLE WatchLog_old(date Date, UserId Int64, EventType String, Cnt UInt64)ENGINE=TinyLog;
INSERT INTO WatchLog_old VALUES ('2018-01-01', 1, 'hit', 3);

CREATE TABLE WatchLog_new(date Date, UserId Int64, EventType String, Cnt UInt64)ENGINE=TinyLog;
INSERT INTO WatchLog_new VALUES ('2018-01-02', 2, 'hit', 3);

CREATE TABLE WatchLog as WatchLog_old ENGINE=Merge(currentDatabase(), '^WatchLog');

SELECT * FROM WatchLog;

MergeTree

Clickhouse 中最强大的表引擎当属 MergeTree （合并树）引擎及该系列（*MergeTree）中的其他引擎。

MergeTree 系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。

主要特点:

  • 存储的数据按主键排序。
  • 这使得你能够创建一个小型的稀疏索引来加快数据检索。
  • 支持数据分区，如果指定了 分区键 的话。
  • 在相同数据集和相同结果集的情况下 ClickHouse 中某些带分区的操作会比普通操作更快。查询中指定了分区键时 ClickHouse 会自动截取分区数据。这也有效增加了查询性能。
  • 支持数据副本。
  • ReplicatedMergeTree 系列的表提供了数据副本功能。更多信息，请参阅 数据副本 一节。
  • 支持数据采样。
  • 需要的话，你可以给表设置一个采样方法。

创建表

用-m进入

create table mt_table(date Date,id UInt8,name String)
engine=MergeTree()
partition by date
order by (id,name)
settings index_granularity=8192;

insert into mt_table values('2019-05-01',1,'zhagndan');
insert into mt_table values('2019-06-01',2,'lisi');
insert into mt_table values('2019-05-03',3,'wangwu');

查看文件结构(多复制插入几次)

在这里插入图片描述
保证数据量多一点,时间长一点会自动合并

ReplacingMergeTree

该引擎和 MergeTree 的不同之处在于它会删除排序键值相同的重复项。

数据的去重只会在数据合并期间进行。合并会在后台一个不确定的时间进行，因此你无法预先作出计划。有一些数据可能仍未被处理。尽管你可以调用 OPTIMIZE 语句发起计划外的合并，但请不要依靠它，因为 OPTIMIZE 语句会引发对数据的大量读写。

因此，ReplacingMergeTree 适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现。

创建表

create table rmt_table(date Date,id UInt8,name String,point UInt8)
engine=ReplacingMergeTree(point)
partition by date
order by (id,name);

insert into rmt_table values('2019-07-10',1,'a',20);
insert into rmt_table values('2019-07-10',1,'a',30);
insert into rmt_table values('2019-07-11',1,'a',20);
insert into rmt_table values('2019-07-11',1,'a',30);
insert into rmt_table values('2019-07-11',1,'a',10);
#刚插入时的结果
hadoop102 :) select * from rmt_table;

SELECT *
FROM rmt_table 

┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-11 │  1 │ a    │    30 │
└────────────┴────┴──────┴───────┘
┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-10 │  1 │ a    │    30 │
└────────────┴────┴──────┴───────┘
┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-10 │  1 │ a    │    20 │
└────────────┴────┴──────┴───────┘
┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-11 │  1 │ a    │    10 │
└────────────┴────┴──────┴───────┘
┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-11 │  1 │ a    │    20 │
└────────────┴────┴──────┴───────┘

5 rows in set. Elapsed: 0.014 sec. 
#时间长一点之后的结果(例如睡一个午睡后)
hadoop102 :) select * from rmt_table;

SELECT *
FROM rmt_table 

┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-11 │  1 │ a    │    30 │
└────────────┴────┴──────┴───────┘
┌───────date─┬─id─┬─name─┬─point─┐
│ 2019-07-10 │  1 │ a    │    30 │
└────────────┴────┴──────┴───────┘

2 rows in set. Elapsed: 0.009 sec.

SummingMergeTree

该引擎继承自 MergeTree。区别在于，当合并 SummingMergeTree 表的数据片段时，ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储空间并加快数据查询的速度。

我们推荐将该引擎和 MergeTree 一起使用。例如，在准备做报告的时候，将完整的数据存储在 MergeTree 表中，并且使用 SummingMergeTree 来存储聚合数据。这种方法可以使你避免因为使用不正确的主键组合方式而丢失有价值的数据。

创建表

create table smt_table (date Date,name String ,sum UInt16,not_sum UInt16)
engine=SummingMergeTree(sum)
partition by date
order by (date,name);

insert into smt_table values('2019-07-10','a',1,2);
insert into smt_table values('2019-07-10','b',2,1);
insert into smt_table values('2019-07-11','b',3,9);
insert into smt_table values('2019-07-11','b',3,8);
insert into smt_table values('2019-07-11','a',3,1);
insert into smt_table values('2019-07-12','c',1,3);

#刚插入时的结果
hadoop102 :) select * from smt_table;

SELECT *
FROM smt_table 

┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-11 │ a    │   3 │       1 │
└────────────┴──────┴─────┴─────────┘
┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-11 │ b    │   3 │       9 │
└────────────┴──────┴─────┴─────────┘
┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-10 │ a    │   1 │       2 │
└────────────┴──────┴─────┴─────────┘
┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-12 │ c    │   1 │       3 │
└────────────┴──────┴─────┴─────────┘
┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-11 │ b    │   3 │       8 │
└────────────┴──────┴─────┴─────────┘
┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-10 │ b    │   2 │       1 │
└────────────┴──────┴─────┴─────────┘

6 rows in set. Elapsed: 0.022 sec. 
#时间长一点之后的结果(例如睡一个午睡后)
hadoop102 :) select * from smt_table;

SELECT *
FROM smt_table 

┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-12 │ c    │   1 │       3 │
└────────────┴──────┴─────┴─────────┘
┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-11 │ a    │   3 │       1 │
│ 2019-07-11 │ b    │   6 │       9 │
└────────────┴──────┴─────┴─────────┘
┌───────date─┬─name─┬─sum─┬─not_sum─┐
│ 2019-07-10 │ a    │   1 │       2 │
│ 2019-07-10 │ b    │   2 │       1 │
└────────────┴──────┴─────┴─────────┘

5 rows in set. Elapsed: 0.014 sec.

Distributed

创建表

#三个节点都添加
create table t(id UInt16,name String)Engine=TinyLog;
insert into t(id,name) values(1,'zhangsan');
insert into t(id,name) values(2,'lisi');
show tables;

#创建分布表(102集群)
create table dis_table(id UInt16,name String)Engine=Distributed(clickhouse_cluster,default,t,id);
select * from  dis_table;

在这里插入图片描述

#插入字段(是通过hash来分布的)
insert into dis_table values(3,'zs');

在这里插入图片描述

空气城堡
关注
专栏目录
【大数据 OLAP ClickHouse 引擎】ClickHouse 系统架构和存储引擎实现原理 : 为什么 ClickHouse 这么快？ Why is ClickHouse so fast?
程序员光剑
03-01 4万+
ClickHouse 是一款由俄罗斯 Yandex 公司开发的 C++ 开源高性能 OLAP 组件。在 Yandex 内部, ClickHouse 主要用于在线流量分析产品 Yandex Metrica，类似于 Google Analytics 或者百度统计。ClickHouse是一款MPP架构的列式存储数据库，但MPP和列式存储并不是什么"稀罕"的设计。拥有类似架构的其他数据库产品也有很多，但是为什么偏偏只有ClickHouse的性能如此出众呢？
大数据ClickHouse（六）：Log系列表引擎
Lansonli（蓝深李）的博客
08-06 1177
Log系列表引擎功能相对简单，主要用于快速写入小表（1百万行左右的表），然后全部读出的场景，即一次写入，多次查询。Log系列表引擎包含：TinyLog、StripeLog、Log三种引擎。几种Log表引擎的共性是：它们彼此之间的区别是：TinyLog是Log系列引擎中功能简单、性能较低的引擎。它的存储结构由数据文件和元数据两部分组成。其中，数据文件是按列独立存储的，也就是说每一个列字段都对应一个文件。由于TinyLog数据存储不分块，所以不支持并发数据读取，该引擎适合一次写入，多次读取的场景，对于处理小批量
ClickHouse实时分析（四）- ClickHouse表引擎详解
程序园@大Null
03-23 3709
表引擎的使用，日志引擎系列，MergeTree引擎系列，集成的表引擎，用于其他特定功能的引擎，虚拟列，TinyLog引擎，Log引擎，StripeLog引擎，MergeTree引擎，AggregatingMergeTree引擎，CollapsingMergeTree引擎，ReplacingMergeTree引擎，SummingMergeTree引擎
clickhouse的安装和使用（单机+集群）
wyee000的博客
05-09 5971
什么是clickhous ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 安装前的准备 以CentOS6.8为例 1. CentOS取消打开文件数限制 在/etc/security/limits.conf、/etc/security/limits.d/90-nproc.con...
大数据领域的一把快刀ClickHouse
最新发布
小蒋聊技术
08-18 448
Yandex作为俄罗斯最大的搜索引擎，每天要处理海量的用户数据，这些数据需要在极短的时间内进行分析和反馈，传统的行式数据库效率低下，难以满足他们的需求。于是，他们开发了ClickHouse，专门为复杂的分析查询设计，并且能在硬件成本不增加的前提下，提供优异的性能。前面提到，ClickHouse将数据按列存储，这样做的好处是查询效率高，特别是在处理类似“查找所有购买过iPhone的用户”这样的查询时，ClickHouse可以迅速锁定相关列，避免了读取不相关的数据。在这个瞬间，背后有一系列复杂的技术协同工作。
clickhouse
weixin_45596022的博客
03-31 2万+
一，clickhouse特点 1.列式存储 行存储 好处是想查某个人所有的属性时，可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时，需要不停的查找，或者全表扫描才行，遍历的很多数据都是不需要的。 id 姓名 年龄 1 张三 18 2 李四 19 3 王五 20 列存储 列存储的好处 1 对于列的聚合，计数，求和等统计操作要优于行式存储。 2 由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列选择更优的数据压缩算法，大大提高了数据的压缩比重。
ClickHouse
weixin_34242819的博客
06-17 484
官方文档 clickhouse.yandex/docs/zh/ 适合的场景 日志分析，数据量大，PB级 复杂的随机查询，例如SQL 数据不需要进行更改 非交易（Transcations）数据 缺点 不支持Transaction，OLTP 聚合结果必须小于一台机器的内存大小 缺少完整的update/delete操作 不适合典型的key-value存储 不支持Blob/Document类型数据 列式存...
clickhouse---MergeTree系列表引擎
weixin_38813363的博客
05-02 645
MergeTree MergeTree作为家族最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。对于基础原理，在上一篇文章中已经介绍过了。本节进一步介绍MergeTree家族独有的另外两项能力----数据TTL与存储侧罗 TTL MergeTree中可以设置整个列字段或者整张表的TTL.如果到达ttl会将对应列/表删除。 ttl的运行原理：如果一张MergeTree表设置了TTL表达式，那么在写入数据时，会以数据分区为单位，在每个分区目录内生成一个名为ttl.txt文件，里面存储ttl相关信息。co
Clickhouse表引擎—MergeTree系列
热门推荐
09-14 3万+
ClickHouse提供了丰富多样的表引擎，应对不同的业务需求。本文概览了ClickHouse的表引擎，同时对于MergeTree系列表引擎进行了详细对比和样例示范。在这些表引擎之外，ClickHouse还提供了Replicated、Distributed等高级表引擎，我们会在后续进一步深度解读。MergeTree 不能做到去重ReplacingMergeTree 针对MergeTree 不能去重实现了去重的能力会异步的删除（折叠）这些除了特定列Sign有1和-1。
【Clickhouse】Clickhouse 表引擎之 Log系列
九师兄
01-30 533
1.概述 Log家族具有最小功能的轻量级引擎。当您需要快速写入许多小表(最多约100万行)并在以后整体读取它们时，该类型的引擎是最有效的。 5.1 TinyLog引擎(数据不分快) 最简单的表引擎，用于将数据存储在磁盘上。每列都存储在单独的压缩文件中，写入时，数据将附加到文件末尾。 该引擎没有并发控制 -只支持并发读 ...
Clikhouse产生背景以及概述（一）
百看不如一RUN
08-24 2477
1、需求背景 1.1 概述 随着数据科技的进步，数据分析师早已不在满足于传统的T+1的报表或者类似于MOLAP这种类型提前设置好维度和指标的OLAP也就是Cube，类似Kylin。数据分析师更希望使用可以支持 任意指标、任意维度并且可以秒级反馈的大数据量下的Ad-hoc查询 。 这个需求对大数据领域来说 是一项非常大的挑战，传统的大数据查询引擎根本无法做到这一点。由俄罗斯的Yandex公司开源的ClickHouse脱颖而出。在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，Clickhouse比
OLAP(四)：ClickHouse
.
08-25 2836
引言 ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。目前国内各个大厂纷纷跟进大规模使用： 今日头条内部用ClickHouse来做用户行为分析，内部一共几千个ClickHouse节点，单集群最大1200节点，总数据量几十PB，日增原始数据300TB左右。 腾讯内部用ClickHouse做游戏数据分析，并且为之建立了一整套监控运维体系。 携程内部从18年7月份开始接入试用，目前80%的业务都跑在ClickHouse上。每天数据增量十多亿，近百万次查询请求。 快
Clickhouse概览（一）
百看不如一RUN
02-24 379
什么是clickhouse ClickHouse是一个面向列的数据库管理系统（DBMS），用于联机分析处理查询（OLAP） 在“普通”面向行的数据库管理系统中，数据按以下顺序存储： 换句话说，与一行相关的所有值在物理上紧挨着存储。 面向行的 DBMS 的例子有 MySQL、 Postgres 和 MS SQL Server。 在列式数据库中，数据是这样存储的: 这些示例仅显示数据的排列顺序。来...
clickhouse 引擎
08-22
Click是一个用于大数据分析和处理的开源列式数据库管理系统。ClickHouse提供了多种不同的表引擎，其中最核心的引擎是MergeTree引擎。MergeTree引擎是ClickHouse官方主推的存储引擎，具有强大的性能和广泛的使用场景。MergeTree引擎支持几乎所有ClickHouse核心功能，并且在大多数情况下都是最为适用的引擎选择。它可以处理海量数据，并且具有高效的查询性能和数据压缩能力。MergeTree引擎在ClickHouse中被广泛应用于数据分析、实时报表和日志处理等领域。总的来说，ClickHouse提供了多种表引擎，而MergeTree引擎是其中最为核心和重要的引擎之一。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [3、ClickHouse表引擎-MergeTree引擎](https://download.csdn.net/download/chenwewi520feng/87837910)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [篇二|什么是ClickHouse的表引擎?](https://blog.csdn.net/jmx_bigdata/article/details/108719569)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值