06 - Clickhouse的表引擎

目录

1、表引擎的使用

2、TinyLog

3、Memory

4、MergeTree

4.1、建表语句

4.2、插入数据

4.3、partition by分区（可选）

4.4、PartitionId

4.5、数据写入与分区合并

4.6、primary key主键（可选）

4.7、order by（必须）

4.8、二级索引

4.9、数据TTL

---

1、表引擎的使用

表引擎决定了如何存储表的数据。包括：

• 数据的存储方式和位置，写到哪里以及从哪里读取数据
• 支持哪些查询以及如何支持
• 并发数据访问
• 索引的使用（如果存在）
• 是否可以执行多线程请求
• 数据复制参数

表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎使用的相关参数

引擎的名称大小写敏感

2、TinyLog

        以列文件的形式保存在磁盘上，不支持索引，没有并发控制。一般保存少量数据的小表，生产环境上作用有限。可以用于平时练习测试用。如下：

create table t_tinylog ( id String, name String) engine=TinyLog; 

3、Memory

        内存引擎：数据以未压缩的原始形式直接保存在内存当中，服务器重启数据就会消失。读写操作不会相互阻塞，不支持索引。简单查询下有非常非常高的性能表现（超过10G/s）。一般用到它的地方不多，除了用来测试，就是在需要非常高的性能，同时数据量又不太大（上限大概1亿行）的场景。

4、MergeTree

        ClickHouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（*MergeTree）中的其他引擎，支持索引和分区，地位可以相当于innodb之于Mysql。

4.1、建表语句

create table t_order_mt(
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
) engine = MergeTree
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

4.2、插入数据

insert into t_order_mt values 
(101,'sku_001',1000.00,'2020-06-01 12:00:00') , 
(102,'sku_002',2000.00,'2020-06-01 11:00:00'), 
(102,'sku_004',2500.00,'2020-06-01 12:00:00'), 
(102,'sku_002',2000.00,'2020-06-01 13:00:00'), 
(102,'sku_002',12000.00,'2020-06-01 13:00:00'), 
(102,'sku_002',600.00,'2020-06-02 12:00:00'); 

hallo102 :) select * from t_order_mt;

SELECT *
FROM t_order_mt

Query id: 3cf546e5-740d-4a8a-8169-de7fc6b4e056

┌──id─┬─sku_id──┬─total_amount─┬─────────create_time─┐
│ 102 │ sku_002 │       600.00 │ 2020-06-02 12:00:00 │
└─────┴─────────┴──────────────┴─────────────────────┘
┌──id─┬─sku_id──┬─total_amount─┬─────────create_time─┐
│ 101 │ sku_001 │      1000.00 │ 2020-06-01 12:00:00 │
│ 102 │ sku_002 │      2000.00 │ 2020-06-01 11:00:00 │
│ 102 │ sku_002 │      2000.00 │ 2020-06-01 13:00:00 │
│ 102 │ sku_002 │     12000.00 │ 2020-06-01 13:00:00 │
│ 102 │ sku_004 │      2500.00 │ 2020-06-01 12:00:00 │
└─────┴─────────┴──────────────┴─────────────────────┘

6 rows in set. Elapsed: 0.005 sec.

hallo102 :)

• 主键可重复
• 根据日期分区，2020-06-01、2020-06-02共两个分区
• 分区内根据id和sku_id排序

4.3、partition by分区（可选）

分区的目的主要是降低扫描的范围，优化查询速度

如果不填，只会使用一个分区

分区后，面对涉及跨分区的查询统计，ClickHouse会以分区为单位并行处理

[root@aliyun ~]# cd /var/lib/clickhouse/
[root@aliyun clickhouse]# ls
access  data  dictionaries_lib  flags  format_schemas  metadata  metadata_dropped  preprocessed_configs  status  store  tmp  user_files

• data：数据存储的路径
• metadata：表结构信息

[root@aliyun clickhouse]# cd metadata
[root@aliyun metadata]#