【clickhouse】clickhouse 表引擎 之 VersionedCollapsingMergeTree

已于 2022-02-07 20:02:02 修改
阅读量963 收藏
点赞数
分类专栏： clickhouse 文章标签： clickhouse Versioned Collapsing MergeTree
于 2021-02-02 22:27:27 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113477973
版权
clickhouse 专栏收录该内容
139 篇文章 641 订阅 ¥19.90 ¥99.00
订阅专栏
本文介绍了ClickHouse中的VersionedCollapsingMergeTree表引擎，用于解决乱序写入时的折叠问题。与CollapsingMergeTree不同，VersionedCollapsingMergeTree不需要特定的写入顺序，通过版本号字段确保折叠操作的准确性。文中包含使用示例和具体案例，展示了如何在乱序插入情况下进行数据折叠。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

取消字段和数据版本同事使用,避免取消行数据无法删除的问题

为了解决CollapsingMergeTree乱序写入情况下无法正常折叠问题, VersionedCollapsingMergeTree表引擎在建表语句中新增了一列Version,于在乱序情况下记录状态行与取消行的对应关系。

主键相同，且Version相同、Sign 相反的行，在Compaction时会被删除。

与CollapsingMergeTree类似，为了获得正确结果，业务层需要改写SQL,将count()、sum(col)分 别改写为sum(Sign)、sum(col * Sign)。

  • VersionedCollapsingMergeTree 表引擎的作用于CollapsingMergeTree完全相同

  • VersionedCollapsingMergeTree 与CollapsingMergeTree不同之处在于其对

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
ClickHouse（十七）：Clickhouse MergeTree系列表引擎 -VersionedCollapsingMergeTree
qq_32020645的博客
08-11 178
VersionedCollapsingMergeTree表引擎的作用与CollapsingMergeTree完全相同，它们的不同之处在于，VersionedCollapsingMergeTree对数据的写入顺序没有要求，在同一个分区内，任意顺序的数据都能够完成折叠操作。VersionedCollapsingMergeTree使用version列来实现乱序情况下的数据折叠，该引擎除了需要指定一个sign标识之外，还需要指定一个UInt*类型的version版本号。👨‍💻如需博文中的资料请私信博主。
【clickhouse】clickhouse表引擎之CollapsingMergeTree
九师兄
02-02 775
假设现在需要设计一款数据库，该数据库支持对已经存在的数据实现行级粒度的修改或删除，你会怎么设计?一种最符合常理的思维可能是: 首先找到保存数据的文件，接着修改这个文件，删除或者修改那些需要变化的数据行。然而在大数据领域，对于ClickHouse这类高性能分析型数据库而言，对数据源文件修改是- -件非常奢侈且代价高昂的操作。相较于直接修改源文件，它们会将修改和删除操作转换成新增操作，即以增代删。
Clickhouse VersionedCollapsingMergeTree
祁东握力的博客
04-21 188
当ClickHouse插入数据时，它会按主键对行进行排序。如果Version列不在主键中，ClickHouse将其隐式添加到主键作为最后一个字段并使用它进行排序。当ClickHouse合并数据部分时，它会删除具有相同主键和版本但Sign值不同的。行.行的顺序并不重要。（也就是会删除sign值1和-1这一对的数据）合并算法主要是下面两个。
ClickHouse教程 — 第二章 ClickHouse快速入门
最新发布
2401_87017192的博客
09-05 1213
大数据技术之 ClickHouseClickHouse官方介绍ClickHouse介绍篇一|ClickHouse快速入门推荐阅读参考1、2，优先阅读参考1。ClickHouse是俄罗斯的Yandex于2016年开源的用于联机分析（OLAP :Online Analytical Processing的列式数据库管理系统（DBMS：Database Management System），能够使用SQL查询实时生成分析数据报告，主要用于Web流量分析。ClickHouse的全称是。ClickHouse。
ClickHouse(14)ClickHouse合并树MergeTree家族表引擎之VersionedCollapsingMergeTree详细解析
编程代码，数据学习开发的日常总结。欢迎关注VX公众号：张飞的猪
11-11 1257
VersionedCollapsingMergeTree引擎继承自MergeTree并将折叠行的逻辑添加到合并数据部分的算法中。VersionedCollapsingMergeTree用于相同的目的折叠树但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。特别是，Version列有助于正确折叠行，即使它们以错误的顺序插入。相比之下,CollapsingMergeTree只允许严格连续插入。
ClickHouse的VersionedCollapsingMergeTree表引擎
weixin_52452030的博客
04-10 287
如果sign=-1和sign=1 的数据行一样多，并且最新一行是sign=1，则保留版本号最老的sign=-1的数据和版本号最新的sign=1的数据。行的顺序并不重要（也就是会删除sign值1和 -1 这一对的数据）。如果sign=-1和sign=1 的数据行一样多，并且最新一行是sign=-1，则什么也不保留。如果sign=-1比sign=1 的数据多一行，则保留版本号最老的一行sign为-1的数据。如果sign=1比sign=-1 的数据多一行，则保留版本号最新的一行sign为1的数据。
ClickHouse入门：表引擎-VersionedCollapsingMergeTree
高矮
01-11 3645
前言 插件及服务器版本 服务器：ubuntu 16.04 ClickHouse：20.12.5 简介 ClickHouse作为大数据场景下的高性能分析型数据库，本身是没有支持文件行级别的更新和删除的功能的。但是某些场景下还是需要更新或删除老数据的，于是便有了以增代删，即将修改和删除操作转换成新增操作。 VersionedCollapsingMergeTree（折叠合并树）就是一种通过以增代删的思路，支持行级数据删除和修改的表引擎。它通过定义一个sign标记字段，记录数据行的状态，如果sign标记为1，则.
clickhouse引擎--VersionedCollapsingMergeTree引擎
小兔子乖乖
09-06 521
VersionedCollapsingMergeTree引擎VersionedCollapsingMergeTree引擎 VersionedCollapsingMergeTree引擎 为了解决CollapsingMergeTree乱序写入情况下无法折叠（删除）问题，VersionedCollapsingMergeTree引擎在建表语句中新增了一列Version，用于在乱序情况下记录状态行与取消行的对应关系，主键排序相同，且Version相同，sign相反的行，在Compaction时,与Collapsing
3、ClickHouse表引擎-MergeTree引擎
05-29
MergeTree引擎是ClickHouse中最为核心和常用的表引擎，尤其适合高负载的数据处理任务。 MergeTree系列引擎的设计理念在于高效的数据插入和处理。在写入数据时，MergeTree将数据分片存储，并在后台自动进行合并，这...
ClickHouse引擎详解
weixin_59295776的博客
03-12 1989
共同属性数据存储在磁盘上 写入时将数据追加在文件末尾 不支持突变(Mutation)操作 不支持索引（这意味着。
《手摸手带你学ClickHouse》之VersionedCollapsingMergeTree表引擎
程序员大佬超的博客
03-17 882
上一篇文章讲了CollapsingMergeTree表引擎的使用，提到了它的缺陷，就是这个引擎对数据的写入顺序有严格要求，如果将顺序置换，先写入sign为-1，再写入sign为1的数据，则不能折叠。 在实际使用中，如果写入数据是单线程执行，那还好控制。但是如果数据量很大，通常利用多线程执行，这种情况就无法保证写入顺序，为了解决这个问题，ClickHouse提供了VersionedCollapsingMergeTree表引擎。
客快物流大数据项目（九十六）：ClickHouse的VersionedCollapsingMergeTree深入了解
Lansonli（蓝深李）的博客
12-11 1935
如果 Sign = -1 它指示具有相同属性的对象的状态的取消（让我们称之为 “cancel” 行）。还可以使用 Version 列，它应该用单独的数字标识对象的每个状态。但是，对于数据库管理系统来说，更新操作非常昂贵且速度很慢，因为它需要重写存储中的数据。如果我们使用单个查询插入数据，ClickHouse将创建一个数据部分，并且永远不会执行任何合并。但使用不同的折叠算法，允许以多个线程的任何顺序插入数据。可以删除，折叠对象的无效（旧）状态。在稍后的某个时候，我们注册用户活动的变化，并用以下两行写入它。
【ClickHouse系列】ClickHouse表引擎MergeTree实践
一只努力的微服务
03-22 4597
MergeTree系列 Log、Special、Integration主要用于特殊用途，场景相对有限。MergeTree系列才是官方主推的存储引擎，支持几乎所有ClickHouse核心功能。 以下重点介绍MergeTree、ReplacingMergeTree、CollapsingMergeTree、VersionedCollapsingMergeTree、SummingMergeTree、Agg...
ClickHouse File引擎
qq_28603127的博客
11-10 1001
因为ClickHouse的更新节奏很快,很多内容可能不断调整,2.10(当前最新的发行版本)与1.9版本不一样,此次是以1.9版本演示. clickhouse-client --version ClickHouse client version 19.9.5.36. File引擎以data.format格式存储,常见format格式有CSV,TSV,JSONEachRow. create table tableName (col1 type,col2 type...)engine =File(forma
列式数据库管理系统——ClickHouse（version：22.7.1 环境部署）
匠人精神，持之以恒！
07-23 1396
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。ClickHouse不单单是一个数据库，它是一个数据库管理系统。httpshttps。
Clickhouse版本21.6.5.37的分片和副本分布式安装
Bulut0907
07-07 3229
目录1. 基本介绍1.1 不适用场景1.2 向量化执行1.3 内存的使用2. 安装与部署2.1 安装环境2.2 安装 1. 基本介绍 1.1 不适用场景 不支持事务 支持但不擅长根据主键查询整行的数据 支持但不擅长按行删除数据 不能支持高并发 1.2 向量化执行 要访问的数据离CPU越近，则计算的速度越快，寄存器是CPU的一个储存系统，当然计算速度最快了 Clickhouse的CPU利用SSE4.2指令集操作寄存器来实现一个指令并行操作数据，从而实现向量化执行；该指令不适合用于较多分支判断的场景，应用多
Clickhouse表引擎介绍
Nortyr的博客
04-15 875
Clickhouse表引擎介绍 表引擎作用 数据如何存储,从哪写入,从哪读取 支持哪些查询，以及如何支持。 并发数据访问 如果存在,使用索引 是否支持多线程 数据复制 表引擎类型 MergeTree 适用于高负载,最强大的表引擎 同构后续的后台数据处理,快速插入数据,然后应用规则在后台合并这些部分 支持数据复制、分区、辅助数据跳过索引以及其他引擎不支持的其他功能 种类 MergeTree ReplacingMergeTree SummingMergeTree AggregatingMerg
ClickHouse 版本升级
style_boy的博客
09-15 2938
ClickHouse 版本升级
Clickhouse 版本号历史
vkingnew 的技术博客
07-13 8007
参考： https://github.com/ClickHouse/ClickHouse/issues/8285 https://github.com/ClickHouse/ClickHouse/issues/9875 https://github.com/ClickHouse/ClickHouse/issues/6501 https://clickhouse.tech/docs/en/introduction/history/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值