clickhouse中数据的TTL

TTL：Time To Live,MergeTree提供了可以管理数据表或者列的生命周期的功能,TTL用于设置值的生命周期，它既可以为整张表设置，也可以为每个列字段单独设置。表级别的 TTL 还会指定数据在磁盘和卷上自动转移的逻辑。

要定义TTL,必须要使用时间间隔操作符，如下所示
TTL date_time + INTERVAL 5 SECONDS
TTL date_time + INTERVAL 15 HOUR
TTL date_time + INTERVAL 1 MONTH

要想在建表时使用TTL，则TTL 表达式的计算结果必须是日期或日期时间 类型的字段。
如 TTL time_column
TTL time_column + interval

1.列级别TTL：
1）建立带有TTL列的表,这里定义total_amount 这一列的数据30s后结束生命周期

create table t_order_mt3(
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2)  TTL create_time+interval 10 SECOND,
    create_time  Datetime 
 ) engine =MergeTree
 partition by toYYYYMMDD(create_time)
   primary key (id)
   order by (id, sku_id);

2）插入数据

insert into  t_order_mt3 values
(106,'sku_001',1000.00,now()),
(107,'sku_002',2000.00,now()),
(110,'sku_003',600.00,now());

执行手动合并后再次查询可以看到此时的total_amount这列数据已经清空了.

2.表级TTL:
可以在MergeTree的表参数中增加TTL表达式 为整张表设置TTL。

CREATE TABLE stu
(
    id Int32 ,
    name String ,
    create_time DateTime
    
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY id    TTL create_time + INTERVAL 30  SECOND DELETE ;  

这里可以看到与列级TTL相比，表级TTL只不过是把TTL直接定义在了表外,相对于对全局的一个TTL定义，最后的DELETE 可加可不加,默认到期了整行数据都会删除.

插入数据

insert into  stu values
(100,'tom',now()),
(101,'jack',now()),
(102,'mary',now()),
(103,'lili','2021-08-18 07:12:34');

手动触发强制合并可以发现前3条已经过期的数据被整行删除了.

适用场景：
数仓建设需要考虑数据的生命周期问题，数据的生命周期包括数据最初的写入，存储，处理，查询，归档和销毁几个基本的阶段。
实际中数仓数据量的成倍增长，不但产生了巨大容量的存储,同时也造成管理的困难，更换存储方式和存储迁移对项目来讲都是需要考虑
成本和风险的。clickhouse这样的一个设计，可以有效处理解决数据有效的存储周期和销毁的问题。ck的出现对数据存储的
数仓的业务选型又添加一种选择。

概言之：
1.定期删除过期数据
2.定期移动过期数据进行归档

参考:https://vkingnew.blog.csdn.net/article/details/106772513?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control