【无标题】ClickHouse表引擎

问道java

于 2022-01-20 12:13:39 发布

阅读量258

点赞数

分类专栏： ClickHouse 文章标签： sql 数据库 database

本文链接：https://blog.csdn.net/guowenjie111/article/details/122598773

版权

ClickHouse 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

6.1.TinyLog

最简单的表引擎，用于将数据存储在磁盘上，每列都存储在单独的压缩文件中，写入时，数据附加到文件末尾. 缺点：（1）没有并发控制（没有做优化，同时写会数据会损坏，报错）（2）不支持索引（3）数据存储在磁盘上优点：（1）小表节省空间（2）数据写入，只查询，不做增删改操作 创建表：

create table stu1(id Int8, name String)ENGINE=TinyLog

6.2. Memory

内存引擎，数据以未压缩的原始形式直接保存在内存中，服务器重启，数据会消失，读写操作不会相互阻塞，不支持索引。建议上限1亿行的场景。优点：简单查询下有非常高的性能表现（超过10G/s）创建表:

create table stu1(id Int8, name String)ENGINE=Merge(db_name, 'regex_tablename')

6.3.Merge

本身不存储数据，但可用于同时从任意多个其他的表中读取数据，读是自动并行的，不支持写入，读取时，那些真正被读取到数据的表的索引（如果有的话）会被占用,默认是本地表，不能跨机器。参数：一个数据库名和一个用于匹配表名的正则表达式创建表：

create table t1(id Int8, name String)ENGINE=TinyLog
create table t2(id Int8, name String)ENGINE=TinyLog
create table t3(id Int8, name String)ENGINE=TinyLog
create table t (id UInt16, name String)ENGINE=Merge(currentDatabase(), ‘^t’)

6.4.MergeTree

ck中最强大的表引擎MergeTree(合并树)和该系列（*MergeTree）中的其他引擎。使用场景：有巨量数据要插入到表中，高效一批批写入数据片段，并希望这些数据片段在后台按照一定规则合并。相比在插入时不断修改（重写）数据进行存储，会高效很多。优点：（1）数据按主键排序（2）可以使用分区（如果指定了主键）（3）支持数据副本（4）支持数据采样创建表：

ENGINE MergeTree() PARTITION BY toYYYYMM(EventDate) ORDER BY (CounterID, EventDate, intHash32(UserID)) SAMPLE BY intHash32(UserID) SETTINGS index_granularity=8192

插入数据：

6.5.ReplacingMergeTree

在MergeTree的基础上，增加了“处理重复数据”的功能，和MergeTree的不同之处在于他会删除具有相同主键的重复项，数据的去重只会在合并的过程中出现，合并会在未知的时间在后台进行，所以你无法预先做出计划，有一些数据可能仍未被处理，适用于在后台清除重复的数据以节省空间，但是不保证没有重复的数据出现。创建表：

6.6.SummingMergeTree

继承自MergeTree,区别在于，当合并SummingMergeTree表的数据片段时，ck会把具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值，如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储空间并加快数据查询的速度，对于不可加的列，会取一个最先出现的值。

6.7.Distributed(重点)

分布式引擎，本身不存储数据，但可以在多个服务器上进行分布式查询，读是自动并行的，读取时，远程服务器的索引（如果有的话）会被使用。

七、最佳实践

7.1.HDFS数据导入Clickhouse

创建hdfs_engine

CREATE TABLE hdfs_engine_table (name String, value UInt32) ENGINE=HDFS('hdfs://hdfs1:9000/other_storage', 'TSV')

File file

INSERT INTO hdfs_engine_table VALUES ('one', 1), ('two', 2), ('three', 3)

数据查询

SELECT * FROM hdfs_engine_table LIMIT 2
┌─name─┬─value─┐
│ one  │     1 │
│ two  │     2 │
└──────┴───────┘

7.2.每分钟亿级别海量用户行为日志实时自助查询

数据链路

系统实现 在flink端动态设置schema信息，ETL处理数据，动态生成宽表，数据存入Clickhouse，按天分区，Clickhouse使用Distributed表引擎，数据保留7天，避免数据过度膨胀，导致查询性能降低，使用Redash报表工具，分析人员可以写SQL自助查询，结果自定义图表展示。

系统成果 每分钟乙级的数据量，整个数据链路数据延迟在毫秒，数据查询响应在秒级别，动态设置schema生成宽表，做到整个系统的复用性，避免重复开发，查询性能比Hive快几百倍，满足了实时性的要求。