13_clickhouse，Merge引擎，File引擎，External Data引擎，External Data引擎，Null Engine，URL引擎，Memory、Set、Buffer

最新推荐文章于 2023-12-21 17:20:15 发布
最新推荐文章于 2023-12-21 17:20:15 发布
阅读量525 收藏 3
点赞数
分类专栏： # ClickHouse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tototuzuoquan/article/details/111026318
版权

13.Merge引擎
13.1.Merge引擎
13.2.案例
14.File引擎
14.1.File引擎
14.2.案例
15.External Data引擎
15.1.External Data引擎
16.Null Engine
16.1.Null Engine
16.2.案例
17.URL引擎
17.1.URL引擎
18.其他引擎
18.1.其他引擎：Memory、Set、Buffer
18.2.案例
Memory引擎
Set引擎
Buffer引擎

13.Merge引擎

13.1.Merge引擎

根据匹配表名的正则表达式，从任意数量的表中同时读取数据。

Merge引擎的表本身不存储数据。

读取是自动并行化的。

读取时按需使用索引。

指定表引擎：
ENGINE = Merge(dbname, table_reg_expression)
参数： 数据库名称、匹配表名的正则表达式
示例： Merge(hits,’^WatchLog’)

从虚拟列_table获取读取数据的表名称。

13.2.案例

1.创建表

DROP TABLE WatchLog_old;
CREATE TABLE WatchLog_old(date Date, UserId Int64, EventType String, Cnt UInt64)
ENGINE=MergeTree PARTITION BY date ORDER BY (UserId, EventType);

INSERT INTO WatchLog_old VALUES ('2018-01-01', 1, 'hit', 3);

DROP TABLE WatchLog_new;
CREATE TABLE WatchLog_new(date Date, UserId Int64, EventType String, Cnt UInt64)
ENGINE=MergeTree PARTITION BY date ORDER BY (UserId, EventType);

INSERT INTO WatchLog_new VALUES ('2018-01-02', 2, 'hit', 3);

2.创建Merge引擎表：

DROP TABLE WatchLog;
CREATE TABLE WatchLog as WatchLog_old ENGINE=Merge(currentDatabase(), '^WatchLog');

3.查看数据

xxxx2 :) select * from WatchLog_new;

SELECT *
FROM WatchLog_new

┌───────date─┬─UserId─┬─EventType─┬─Cnt─┐
│ 2018-01-02 │      2 │ hit       │   3 │
└────────────┴────────┴───────────┴─────┘

1 rows in set. Elapsed: 0.007 sec. 

xxxx2 :) select * from WatchLog_old;

SELECT *
FROM WatchLog_old

┌───────date─┬─UserId─┬─EventType─┬─Cnt─┐
│ 2018-01-01 │      1 │ hit       │   3 │
└────────────┴────────┴───────────┴─────┘

1 rows in set. Elapsed: 0.005 sec. 

xxxx2 :) select * from WatchLog;

SELECT *
FROM WatchLog

┌───────date─┬─UserId─┬─EventType─┬─Cnt─┐
│ 2018-01-02 │      2 │ hit       │   3 │
└────────────┴────────┴───────────┴─────┘
┌───────date─┬─UserId─┬─EventType─┬─Cnt─┐
│ 2018-01-01 │      1 │ hit       │   3 │
└────────────┴────────┴───────────┴─────┘

2 rows in set. Elapsed: 0.007 sec. 

xxxx2 :)

4.虚拟列

xxxx2 :) select _table,UserId FROM WatchLog;

SELECT 
    _table,
    UserId
FROM WatchLog

┌─_table───────┬─UserId─┐
│ WatchLog_new │      2 │
└──────────────┴────────┘
┌─_table───────┬─UserId─┐
│ WatchLog_old │      1 │
└──────────────┴────────┘

2 rows in set. Elapsed: 0.006 sec. 

xxxx2 :)

14.File引擎

14.1.File引擎

File表引擎按照支持格式（TabSeparated、CSV等），将数据保存文件中。

使用场景：

  1. 数据从ClickHouse导出到文件。
  2. 将数据从一种格式转换为另一种格式。
  3. 通过编辑磁盘上的文件更新ClickHouse中的数据。

指定表引擎：
ENGINE = File(Format)
Format参数指定了文件格式。
ClickHouse不支持为File引擎指定文件系统路径。

当使用File(Format)创建表时，它会在该文件夹中创建空子目录。
当数据写入该表时，它将数据写入子目录下的文件data.Format文件中。

14.2.案例

1.创建File引擎的表

CREATE TABLE file_engine_table (name String, value UInt32) ENGINE=File(CSV);

默认情况下，ClickHouse将创建文件夹：/var/lib/clickhouse/data/default/file_engine_table。

2.插入数据

insert into file_engine_table values('one', 1);
insert into file_engine_table values('two', 2);

3.查询数据

SELECT * FROM file_engine_table;

数据默认写入文件：

/var/lib/clickhouse/data/default/file_engine_table/data.CSV。

4.手动修改磁盘文件，新增记录：

[root@xxxx2 ~]# cd /var/lib/clickhouse/data/default/file_engine_table
[root@xxxx2 file_engine_table]# ls
data.CSV

[root@xxxx2 file_engine_table]# vim data.CSV，最终有如下结果：

"one",1
"two",2
"two",3

5.查询数据

xxxx2 :) select * from file_engine_table;

SELECT *
FROM file_engine_table

┌─name─┬─value─┐
│ one  │     1 │
│ two  │     2 │
│ two  │     3 │
└──────┴───────┘

3 rows in set. Elapsed: 0.005 sec. 

xxxx2 :)

15.External Data引擎

15.1.External Data引擎

将外部数据发送至ClickHouse的server。数据存放在临时表中，用于查询（例如IN操作）。

外部数据可以通过非交互式的命令行客户端或HTTP接口上传。

如果需要对大量外部数据运行多个查询，最好提前将数据上传到数据库，而不要使用此功能。

命令行客户端格式：–external --file=… [–name=…] [–format=…] [–types=…|–structure=…]
–external : 标记外部数据的开始。
–file : 文件的路径或者”-”。”-”表示stdin，只能从stdin检索个表。
（以下选项可选）
–name : 表的名称，如果省略，使用默认名称_data。
–format ：文件中数据的格式。默认值：TabSeparated。
–types和–structure 这两个参数只需要指定其中之一。
–types : 逗号分隔的列分类的列表。例如：UInt64,String,URL String。定义列名称和类型。

HTTP接口：外部数据以multipart/form-data格式传递。每个表作为单独的文件传输。表名取自文 件名。“query_string"传递参数"name_format”、“name_types"和"name_structure”，其中"name" 是表名，默认为文件名。

16.Null Engine

16.1.Null Engine

写入Null引擎表时，数据被忽略。从Null引擎的表读取时，响应为空。但是，可以在Null表上创建实例化视图。因此，写入表的数据将最终出现在视图中。

指定表引擎：
ENGINE = File(Format)

16.2.案例

create database test;
use test;
DROP TABLE IF EXISTS src_null;
DROP TABLE IF EXISTS m_view_sum;

//创建Null引擎的表
CREATE TABLE src (id String, value UInt32) ENGINE = Null;

//创建物化视图
CREATE MATERIALIZED VIEW m_view_sum ENGINE = SummingMergeTree() order by id AS SELECT id, sum(value) as value FROM src group by id;

//插入数据
insert into src values('id001', 1),('id002', 33),('id003', 36);
insert into src values('id001', 2),('id002', 17),('id003', 24);

//查看数据
select * from m_view_sum;
optimize table m_view_sum;
select * from m_view_sum;

xxxx2 :) select * from m_view_sum;

SELECT *
FROM m_view_sum

┌─id────┬─value─┐
│ id001 │     2 │
│ id002 │    17 │
│ id003 │    24 │
└───────┴───────┘
┌─id────┬─value─┐
│ id001 │     1 │
│ id002 │    33 │
│ id003 │    36 │
└───────┴───────┘

6 rows in set. Elapsed: 0.012 sec. 

xxxx2 :) select * from m_view_sum;

SELECT *
FROM m_view_sum

┌─id────┬─value─┐
│ id001 │     2 │
│ id002 │    17 │
│ id003 │    24 │
└───────┴───────┘
┌─id────┬─value─┐
│ id001 │     1 │
│ id002 │    33 │
│ id003 │    36 │
└───────┴───────┘

6 rows in set. Elapsed: 0.012 sec. 

xxxx2 :) optimize table m_view_sum;

OPTIMIZE TABLE m_view_sum

Ok.

0 rows in set. Elapsed: 0.005 sec. 

xxxx2 :) select * from m_view_sum;

SELECT *
FROM m_view_sum

┌─id────┬─value─┐
│ id001 │     3 │
│ id002 │    50 │
│ id003 │    60 │
└───────┴───────┘

3 rows in set. Elapsed: 0.005 sec. 

xxxx2 :)

17.URL引擎

17.1.URL引擎

管理远程HTTP/HTTPS服务器上的数据，此引擎类似于File引擎。
可以进行并行读写。

指定表引擎：
ENGINE=URL(URL, Format) URL必须符合统一资源定位符的结构。指定的URL指向使用HTTP或HTTPS的服务器。 Format为ClickHouse支持的格式。 INSERT和SELECT操作分别转换为POST和GET请求，为了处理POST请求，远程服务器必须支持分块 传输编码。 可以使用max_http_get_redirects设置限制HTTP GET重定向跃点的最大数量。

18.其他引擎

18.1.其他引擎：Memory、Set、Buffer

Memory引擎 ：数据以未压缩的形式存储在RAM中。Server重启，数据将从表中消失。读和写操作不会互相阻塞。不支持索引。读取时并行化的。该引擎仅用于测试。

Set：Set引擎的数据使用位于RAM中， 它专用于IN运算符的右侧。检索数据的唯一办法是在IN运算符的右半部分使用它。启动server时，Set表引擎的数据将加载到RAM。

Buffer : 当写入Buffer引擎的表时，数据先写入内存，然后周期性地刷到另外一张表（可称为目标表）。读取操作是同时从缓冲区和另外一张表同时读取数据。Buffer引擎限制很多，在极少情况下才会使用。

18.2.案例

1.Memory引擎

drop table memory_demo;
create table memory_demo (id Int8) ENGINE=Memory;
insert into memory_demo values(1);

xxxx2 :) select * from memory_demo;

SELECT *
FROM memory_demo

┌─id─┐
│  1 │
└────┘

1 rows in set. Elapsed: 0.007 sec. 

xxxx2 :)

2.Set引擎

//创建Set引擎的表
drop table set_demo;
create table set_demo (id Int8) ENGINE=Set;

//插入数据
insert into set_demo values(1);
insert into set_demo values(2);
insert into set_demo values(1);

3.Buffer引擎
示例：
Buffer(database, table, num_layers, min_time, max_time, min_rows, max_rows, min_bytes, max_bytes)
引擎参数：
database ： 数据库名称。也可以使用一个返回字符串的常量表达式，例如：currentDatabase()。
table ： 数据刷新的目标表。
num_layers : 并行的层数。在物理上， 该表将表示为num_layers个独立的缓冲区。
min_time, max_time, min_rows, max_rows, min_bytes, and max_bytes ：从缓冲区刷新数据的条件。如果满足所有min条件或满足至少一个max条件，则从缓冲区刷新数据并将其写入目标表。
min_time,max_time : 从第一次写入缓冲区起以秒为单位的时间条件。
min_rows,max_rows : 缓冲区行数的条件。
min_bytes,max_bytes : 缓冲区字节数的条件。

A.创建目标表

drop table t_target;
create table t_target(id String, name String) ENGINE=MergeTree order by id;

B.创建buffer表

drop table t_buffer;
CREATE TABLE t_buffer AS t_target ENGINE = Buffer(currentDatabase(), t_target, 16, 10, 100, 5, 1000000, 10000000, 100000000);

说明，最少等待10秒，最多等待100秒。上面的各各参数的含义可以从上面Buffer定义中找到。
C: 往buffer表插入数据

insert into t_buffer values('a', 'aaa');

D: 查看表数据

select * from t_buffer;
select * from t_target;

结果显示：
刚插入数据后查询到的结果是：

xxxx2 :) select * from t_buffer;

SELECT *
FROM t_buffer

┌─id─┬─name─┐
│ a  │ aaa  │
└────┴──────┘

1 rows in set. Elapsed: 0.006 sec. 

xxxx2 :) select * from t_target;

SELECT *
FROM t_target

Ok.

0 rows in set. Elapsed: 0.004 sec. 

xxxx2 :)

等一段时间之后，显示的结果是：
xxxx2 :) select * from t_buffer;

SELECT *
FROM t_buffer

┌─id─┬─name─┐
│ a  │ aaa  │
└────┴──────┘

1 rows in set. Elapsed: 0.007 sec. 

xxxx2 :) select * from t_target;

SELECT *
FROM t_target

┌─id─┬─name─┐
│ a  │ aaa  │
└────┴──────┘

1 rows in set. Elapsed: 0.008 sec. 

xxxx2 :)
涂作权的博客
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Clickhouse存储引擎的存储模型及工作机制
Deepexi_Date的博客
10-22 658
Clickhouse存储引擎的存储模型及工作机制 本章将向读者完整地介绍clickhouse存储引擎的存储模型及工作机制) 文件组织 在大部分的DBMS中，数据库本质上就是一个由各种子目录和文件组成的文件目录，clickhouse当然也不例外。clickhouse默认数据目录在/var/lib/clickhouse/data目录中。所有的数据库都会在该目录中创建一个子文件夹。下图展示了clickhouse对数据文件的组织。 每一个数据库都会在clickhouse的data目录中创建一个子目录，clickh
Mysql的MERGE存储引擎详解
12-16
MySQL的MERGE存储引擎是一种特殊的数据存储方式，它允许用户将多个MyISAM表合并成一个逻辑表，以便于管理和查询。这种引擎的设计目的是为了处理大量数据，特别是那些可以通过时间或者其他分类标准进行分片的数据。在...
（04）表引擎
song_quan_的博客
07-30 287
4.1 表引擎的使用 表引擎是 ClickHouse 的一大特色。可以说， 表引擎决定了如何存储标的数据。包括： ➢ 数据的存储方式和位置，写到哪里以及从哪里读取数据 ➢ 支持哪些查询以及如何支持。 ➢ 并发数据访问。 ➢ 索引的使用（如果存在）。 ➢ 是否可以执行多线程请求。 ➢ 数据复制参数。 表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎使用的相关参数。 特别注意：引擎的名称大小写敏感 4.2 TinyLog
【用户画像】ClickHouse中的数据类型、表引擎介绍及使用、项目几个问题的解决办法
weixin_43923463的博客
11-02 784
minmax GRANULARITY 5的含义就是为 每5 * 8192 行数据计算一对该列的最大最小值，当扫描行扫描到该区间时，会对比最大最小值，如果不在该范围，就可以直接跳过该区域的扫描。当插入第一份数据时，其会自动进入主分区，插入第二份数据时，会将数据放到临时分区（独立的目录、文件）中，当触发某总条件会自动产生合并，也可以通过一行命令去强行合并，固定长度的可以保存一些定长的内容，比如一些编码，性别等但是考虑到一定的变化风险，带来收益不够明显，所以定长字符串使用意义有限。建议尽可能以整数形式存储数据。
ClickHouse 日志引擎说明
80后大叔爱学习
10-31 433
ClickHouse
ClickHouse系列-数据定义
qq_42511550的博客
08-07 786
一 ClickHouse的数据类型 作为分析类型数据库，提供了许多数据类型，可以划分为基础类型，复合类型，特殊类型。 1.1 基础类型 只有数值，字符串，时间三种类型 1，数值类型 分为整数，浮点数，定点数三类 1）Int 有符号整数类型的具体信息 无符号整数类型的具体信息 2）Float ClickHouse直接使用Float32和Float64代表单精度浮点数以及双精度浮点数 注意： 在使用浮点数的时候，应当要意识到它是有限精度的。 浮点数支持正无穷、负无穷以及非数字的表达方式。 正无穷： i
MySQLMerge存储引擎
09-10
MySQLMerge存储引擎是一种特殊的存储引擎，它允许将多个MyISAM表组合成一个逻辑上的大表，以便于管理和查询。这种引擎的主要目的是为了提供一种高效的方式来处理大量的分年度或分时间段的数据，例如日志记录或其他...
InfluxDBTSM存储引擎之TSMFile
01-27
TSMFile是TSM存储引擎的主要组成部分，它继承了LSM（Log-Structured Merge Tree）的基本原理，但针对时序数据的特点进行了优化。 在InfluxDB中，数据写入过程首先通过WAL（Write-Ahead Log）保证数据持久化，然后在...
nvelocity_模板_NVelocity_C#_模板引擎_
10-01
**NVelocity模板引擎详解** NVelocity是开源的Java模板引擎，但在.NET环境中也有广泛应用，它是一种强大的、可扩展的模板语言，主要用于生成动态内容。NVelocity允许开发者将HTML或者其他格式的文档与业务逻辑分离...
clickhouse引擎--ReplacingMergeTree引擎
小兔子乖乖
09-06 394
ReplacingMergeTree引擎ReplacingMergeTree引擎无参数版本有参数版本 ReplacingMergeTree引擎 这个引擎是在MergeTree的基础上，添加了==“处理重复数据”==的功能，该引擎和MergeTree的不同之处在于它会删除具有相同（区内排序一样的重复项，数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行，所以无法预先做出计划，有一些数据可能仍未被处理，因此，ReplacingMergeTree适用于在后台清理重复的数据以节省空间，但它不保证没有重复
ClickHouse简单入门
lang830349821的博客
04-22 343
ClickHouse是一个开源的列式数据库管理系统（DBMS），用于联机分析处理（OLAP），它允许用户使用SQL查询实时生成分析报告。它最初是为Yandex Metrica的网络分析而构建的，通常以其高插入速率、快速分析查询和类似SQL的方言而闻名。ClickHouse的主要特点包括：- 真正的列式DBMS：值与值之间没有任何存储。- 线性可扩展性：可以通过添加服务器来扩展集群。- 容错性：系统是一个由多个副本组成的分片集群。- 能够存储和处理PB级别的数据。- 支持SQL。
使用datax将mysql数据同步到ES 附elasticsearchwriter插件
weixin_45433648的博客
11-02 4163
使用datax将mysql数据同步到ES 附elasticsearchwriter插件dataxelasticsearchwriter插件编译过程elasticsearchwriter网盘 最近在准备datax相关资料 顺便把我之前遇到的问题分享一下 datax DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 github上教程写的很详细。 链接: h
ClickHouse File引擎
qq_28603127的博客
11-10 946
因为ClickHouse的更新节奏很快,很多内容可能不断调整,2.10(当前最新的发行版本)与1.9版本不一样,此次是以1.9版本演示. clickhouse-client --version ClickHouse client version 19.9.5.36. File引擎以data.format格式存储,常见format格式有CSV,TSV,JSONEachRow. create table tableName (col1 type,col2 type...)engine =File(forma
clickhouse 配置项解析
司马懿的西山居
01-25 8793
max_table_size_to_drop 此参数在 /etc/clickhouse-server/config.xml 中，应用于需要删除表或分区的情况，默认是50GB，意思是如果删除50GB以上的分区表会失败。建议修改为0，这样不管多大的分区表都可以删除。 max_memory_usage 此参数在 /etc/clickhouse-server/config.xml 中,表示单次Query占用内存最大值，超过的话会查询失败。建议尽量调大一些。 set max_bytes_before_e..
Clickhouse中buffer表
最新发布
xiaochaochoa的博客
12-21 577
Clickhouse中buffer表设置及写入。
ClickHouse 之二 其他引擎(Null,File,Log,mergetree,TTL)
weixin_38424594的博客
11-27 415
ClickHouse 其他系列引擎分析 TTL （1）、创建带TTL的表： DROP TABLE example_table; CREATE TABLE example_table ( d DateTime, a Int TTL d + INTERVAL 1 MINUTE, b String TTL d + INTERVAL 1 MINUTE, c String ) ENGINE = MergeTree ORDER BY d; （2）、插入数据： insert into
ClickHouse（二）-导入数据
热门推荐
木卫二号的专栏
06-02 1万+
###导入数据 准备数据 http://files.grouplens.org/datasets/movielens/ movieslens数据集，ratings.csv 26024314条数据 上手 链接clickhouse docker exec -it ch-server /bin/bash clickhouse-client 建表 CREATE TABLE ratings(user...
ClickHouse File 表
lu_gt的专栏
02-06 4227
File 表用于导入用户自定义的内容，或者将数据导出成指定格式 导入篇：
mysql的几种存储引擎的特点（整理）+merge引擎实操
Gavin
06-12 728
MySQL中最常用的两种存储引擎 myIsam、innodb，其他也会用到比如merge，memory
clickhouse，merge变种引擎
05-12
ClickHouse是一种高性能列式数据库管理系统，可以处理PB级别的数据。它支持多种引擎，其中包括MergeTree引擎和变种引擎。 MergeTree引擎是ClickHouse的默认引擎，它使用基于时间的分区和排序键来处理数据。变种引擎是一种基于MergeTree引擎的扩展，它提供了更高级别的数据聚合和查询功能。变种引擎支持在查询时动态地计算聚合函数，这意味着它可以更快地处理复杂的分析查询。 变种引擎还支持在数据写入时进行转换和过滤。这可以用于数据清洗和预处理，以便在后续分析中提高查询性能。 总的来说，ClickHouse的MergeTree引擎和变种引擎提供了强大的数据处理能力，使得它成为处理大规模数据集的理想选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涂作权的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值