ClickHouse使用(六)

MergeTree 系列表引擎

1 六大类表引擎:

(1)合并树 (2)外部存储 (3)内存(4)文件(5)接口(6)其他

(2)合并树家族:
ReplacingMergeTree/SummingMergeTree/AggregatingMergeTree/CollapsingMergeTree/VersionedCollapsingTree

在MergeTree基础上进行扩展,相关特性在合并的时机提现

2 数据TTL

(1) MergeTree可以设置表的存活时间(列级别+表级别)
(2) TTL工作原理:
1.记录方式,写入数据时,每个分区目录都会写入 ttl.txt文件
2.文件格式,JSON{“columns”:[{“name”:“code”,“min”:“112323”,“max”:“12312332”},{…}],“tables”:{“min”:“12122333”,“max”:“1122312121”}}
含义:列,字段,保存时间的最小值和最大值的时间戳 表,保存时间最小值和最大值的时间戳
3.在文件写入时,生成ttl.txt文件,在MergeTree合并分区时,触发TTl逻辑删除数据
4.删除分区时,遵循贪婪算法,算法规则尽可能找到最早过期的,同时年级老的分区(合并次数多,MaxBlockNum 更大)
5.分区数据按照ttl.txt规则删除后,新分区中不再包含删除的数据
6.默认触发ttl(时间为1天),设置过小会带来性能损失
7.可以手动 optimize 触发
8.停止全部的ttl操作 system stop/start ttl merges
(3)多路径存储策略 (>19.15版本,支持多路径存储)
1.默认策略 MergeTree 存储文件到config.xml 配置中的path指定路径下
2.JBOD策略(多磁盘,无raid),轮训,无备份 相当于 raid 0,磁盘中数据在发生磁盘故障时丢失,可以用clickHouse自身的副本策略来补充
3.hot/cold 写入操作在ssd进行,达到阀值自动迁移到hdd,实现性能和经济性的平衡,内部可以并行使用jbod策略
(4) ReplacingMergeTree
(1)合并分区时按照Order By 排序键 删除重复数据
(2)以分区为单位删除重复数据,不同分区的重复数据不予处理
(3)没有设置ver版本号,保留同一组数据的最后一行
(4)设置ver版本号,保留同一组数据中唯一键最大的一行

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值