clickhouse---MergeTree系列表引擎

最新推荐文章于 2024-05-28 09:59:52 发布
最新推荐文章于 2024-05-28 09:59:52 发布
阅读量615 收藏
点赞数
分类专栏： 大数据 文章标签： 数据库 database clickhouse 表引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38813363/article/details/124540783
版权
本文深入探讨了ClickHouse的MergeTree系列表引擎，包括MergeTree的TTL机制、多路径存储策略，以及ReplacingMergeTree、SummingMergeTree、AggregatingMergeTree、CollapsingMergeTree、VersionedCollapsingMergeTree和ReplicatedMergeTree的特性和应用场景。通过TTL功能，MergeTree能自动删除过期数据，多路径存储策略则允许根据需求定制数据分布。ReplacingMergeTree用于消除重复数据，SummingMergeTree和AggregatingMergeTree分别在合并时进行数据聚合，CollapsingMergeTree和VersionedCollapsingMergeTree支持行级数据修改和删除。最后，ReplicatedMergeTree提供了数据同步的分布式解决方案。
摘要由CSDN通过智能技术生成

MergeTree

MergeTree作为家族最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。对于基础原理，在上一篇文章中已经介绍过了。本节进一步介绍MergeTree家族独有的另外两项能力----数据TTL与存储侧罗

TTL

MergeTree中可以设置整个列字段或者整张表的TTL.如果到达ttl会将对应列/表删除。

ttl的运行原理：如果一张MergeTree表设置了TTL表达式，那么在写入数据时，会以数据分区为单位，在每个分区目录内生成一个名为ttl.txt文件，里面存储ttl相关信息。columns用于保存列级别的ttl信息，tables用于保存表级别的ttl信息。min和max分别表示ttl制定日期字段的最小值、最大值与interval表达式计算后的时间戳。

多路径的存储策略

19.15版本开始，MergeTree实现了自定义存储策略的功能，支持以数据分区为最小移动单元，将分区目录写入多块磁盘目录。
3类存储策略：

  • 默认策略：MergeTree原本的存储策略，无须任何配置，所有分区会自动保存到config.xml配置的path目录下
  • JBOD策略：JUST A BUNCH OF DISKS。适合服务器挂栽了多块磁盘，但没有做raid场景。每一次执行insert或者merge时候，所产生的新分区会轮询写入各个磁盘。这种策略的效果类似RAID 0。可以降低单块磁盘的负载。单磁盘故障会丢失部分数据
  • HOT/COLD策略：适合服务器挂栽了不同类似磁盘的场景。将存储磁盘分为HOT与COLD两类区域。写入hot,数据累积到阈值时候，自行移动到cold区域。每个区域内部可以用JBOD策略。</
最低0.47元/天 解锁文章
颜渊月和F
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ClickHouse-架构原理和表引擎详解
03-04
其中最著名的是MergeTree系列引擎，这是ClickHouse默认的表引擎，专门针对OLAP进行了优化。 **2.2 MergeTree引擎工作机制** MergeTree引擎是ClickHouse中最常用的表引擎之一，它采用了多种技术来实现高效的数据...
ClickHouse表引擎（一）之MergeTree系列
style_boy的博客
03-18 803
本文将介绍ClickHouse中一个非常重要的概念—表引擎(table engine)。如果对MySQL熟悉的话，或许你应该听说过InnoDB和MyISAM存储引擎。那不同的存储引擎提供着不同的存储机制、索引方式、锁定水平等功能，也可以称之为表类型。 对于ClickHouse 的表引擎提供了四个系列（MergeTree、Log、Integration、Special）大约 28 种表引擎，各有各的用途。比如 MergeTree 系列用来做大数据量分析，Log 系列用来做小表数据分析，而 Integratio
ClickHouse中的MergeTree表引擎详解
Java鱼仔的博客
04-23 1103
MySQL中最强大的表引擎是InnoDB，ClickHouse中最强大的表引擎是MergeTree以及该系列中的其他引擎。
ClickHouse实战处理（一）：MergeTree系列引擎
sheep8521的博客
05-21 1453
6、partition.dat与minmax_[Column].idx：如果指定了分区键，则会额外生成partition.dat与minmax索引文件，它们均使用二进制格式存储。data.bin：数据文件，使用压缩格式存储，默认为LZ4压缩格式，用于存储某一列的数据。MergeTree在写入一批数据时，数据总会以数据片段的形式写入磁盘，且数据片段在磁盘上不可修改。这里我们介绍下MergeTree引擎表对应到磁盘的数据目录，Clikchouse新版本与之前版本对比，数据对应的磁盘目录略有不同。
ClickHouse学习笔记（四）：MergeTree 系列表引擎
u011047968的专栏
03-29 1257
MergeTree系列表引擎介绍
【clickhouse】ClickHouse表引擎 MergeTree 建表方式与分区规则
九师兄
02-07 5013
1.概述 转载：ClickHouse表引擎 1.MergeTree 建表方式与分区规则 2.MergeTree 介绍 表引擎是 ClickHouse 设计实现中的一大特色。可以说，是表引擎决定了一张数据表最终的“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 ClickHouse拥有非常庞大的表引擎体系，其共拥有合并树、外部存储、内存、文件、接口和其他6大类20多种表引擎。而在这众多的表引擎中，又属合并树（MergeTree）表引擎及其家族系列最为强大，在生产环境的绝大部分场景中，都.
ClickHouse-MergeTree引擎
just love code
05-26 873
order by 设定了分区内的数据按照哪些字段顺序进行有序保存 order by是MergeTree中唯一一个必填项目，甚至primary key还重要，因为用户不设置主键的情况，很多处理会依照order by 的字段进行处理 主键必须是order by字段的前缀字段必须包含主键字段 创建二级索引测试表： CREATE TABLE t_order_mt2 ( id UInt32, sku_id String, total_amount DECIMAL ( 16, 2 ), create_
3、ClickHouse表引擎-MergeTree引擎
05-29
MergeTree系列引擎的设计理念在于高效的数据插入和处理。在写入数据时，MergeTree将数据分片存储，并在后台自动进行合并，这一过程称为合并树，这也是其得名的原因。数据按主键排序，这有助于创建稀疏索引，提高查询...
ClickHouse--day02--企业最佳实战.pdf
11-15
不同类型的表引擎如log系列、special系列、integration系列和MergeTree系列，各自针对不同的应用场景。MergeTree系列是最常用的，它采用数据分区、列式存储、一级索引和二级索引，还支持数据压缩和数据标记，以优化...
clickhouse入门-》高级-》监控备份
04-27
- MergeTree家族引擎：MergeTree是ClickHouse的主要存储引擎，优化了读取性能，了解其工作原理和参数设置。 3. **ClickHouse监控** - 内置监控指标：ClickHouse提供了一系列内置的系统表，如`system.metrics`和`...
4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用
05-29
Log系列引擎的特点是简单且适用于一次性写入多次查询的场景。 1. **TinyLog**： - TinyLog是最基础的Log引擎，数据按列存储，每列一个文件。 - 不支持并发读写和索引，这意味着在写入数据时，任何查询都会被阻塞...
ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析
编程代码，数据学习开发的日常总结。欢迎关注VX公众号：张飞的猪
10-07 1721
AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。可以使用AggregatingMergeTree表来做增量数据的聚合统计，包括物化视图的数据聚合。AggregatingMergeTree适用于能够按照一定的规则缩减行数的情况。
Clickhouse MergeTree 存储引擎架构总结——Clickhouse 架构篇（二）
最新发布
奔跑的蜗牛的博客
05-28 1454
存储引擎是ClickHouse非常重要的一个组件，MergeTree表引擎又是 Clickhouse 引擎中最流行的，同时 Clickhouse 之所以查询速度快，与它又密切相关。本文将对 Clickhouse 中的 MergeTree 表引擎架构设计进行说明，进而了解该引擎加速查询的原理，最后将列举 SQL 说明 MergeTree 表引擎的工作过程。
ClickHouse MergeTree引擎家族
qq_28603127的博客
11-01 859
MergeTree家族引擎是ClickHouse在生产中最常用,也是功能最强大的引擎,只有这种引擎才有主键索引(主键值不需要唯一),二级索引分区,副本和数据采样的特性.MergeTree引擎家族有: MergeTree ReplacingMergeTree SummingMergeTree AggregatingMergeTree CollapsingMergeTree VersionedCollapsingMergeTree MergeTree引擎创建表语句: CREATE TABLE [IF NOT E
ClickHouse之MergeTree引擎！
hhhhhhfq的博客
08-24 988
ClickHouse之MergeTree引擎！
什么是物化视图
HANG.NIAN
09-28 6035
ClickHouse拥有普通和物化两种视图，其中物化视图拥有独立的存储，而普通视图只是一层简单的查询代理 普通视图不会存储任何数据，它只是一层单纯的SELECT查询映射，起着简化查询、明晰语义的作用，对查询性能不会有任何增强。 物化视图 物化视图支持表引擎，数据保存形式由它的表引擎决定，创建物化视图的完整语法如下所示 create materialized view mv_log engine=Log populate as select * from log ; 物化视图创建好之后，如果源表被写
ClickHouse实战--使用ReplacingMergeTree来更新数据
zg_hover的专栏
05-03 4751
本文通过一些例子介绍了如何使用ReplacingMergeTree引擎。在使用ReplacingMergeTree要注意：（1）只有相同分区的数据行才会被合并，所以，必须要注意让需要合并的数据落到相同分区中。（2）若是分布式表，还需要注意要让需要合并的数据落到相同的节点上。（3）不能频繁使用optimize操作；（4）ReplacingMergeTree有一定的适用场景，不是所有的场景，需要根据业务需要进行选择。
"深入了解ClickHouse表引擎-MergeTree引擎的使用
其中，MergeTree引擎是ClickHouse中最常用的表引擎之一。本文主要介绍了MergeTree引擎的几种使用情况，并提供了具体的示例。 MergeTree引擎主要用于有序数据的存储和查询。在MergeTree引擎下，数据按照某个字段的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值