ClickHouse删除数据之delete问题详解

最新推荐文章于 2024-06-19 15:51:11 发布
最新推荐文章于 2024-06-19 15:51:11 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 面试 学习路线 阿里巴巴 文章标签： android 前端 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67401055/article/details/126098957
版权
本文详细解析了ClickHouse中使用DELETE操作删除数据的过程，包括Mutation查询的特性，如异步后台执行、无法回滚及数据删除的实现机制。通过system.mutations系统表跟踪Mutation状态，了解数据目录的变化和日志文件的作用。
摘要由CSDN通过智能技术生成

背景：

ClickHouse中一张数据表中一天有7000w数据，采用delete删除命令删除一周数据，SQL已经执行成功，短时间内查询原表数据仍然存在，没有被删除，过了一会之后，在查询数据删除成功。

SQL提交成功：

短时间内【40s】查询数据仍然存在

经过查阅资料得知，ClickHouse提供了DELETE和UPDATE的能力，这类操作称为Mutation查询，可以看作ALTER语句的变种。虽然Mutation能最终实现修改和删除，但不能完全以通常意义上的UPDATE和DELETE来理解，我们必须认识到它的不同：

  • Mutation语句是一种“很重”的操作，更适用于批量数据的修改和删除；
  • 它不支持事务，一旦语句被提交执行，就会立刻对现有数据产生影响，无法回滚；
  • Mutation语句的执行是一个异步的后台过程，语句被提交之后就会立即返回。

由于一般测试的数据很少，DELETE操作给人的感觉和常用的OLTP数据库无

最低0.47元/天 解锁文章
及时机芯
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
clickhouse 删除操作
小王是个弟弟
08-09 2566
clickhouse 也可以进行优雅删除
clickhouse生产运维以及调优
weixin_44142032的博客
05-20 326
clickhouse 设置允许使用窗口函数 set allow_experimental_window_functions = 1。ClickHouse 进行复杂查询时，包含多个 left join 和 group by，会报错：超出内存限制。delete，update操作对于ck来说是非常重得操作，ck集群容易卡住。查询某个时间内某种查询的数量。
Clickhouse集群create drop database可删除集群数据库或只删除本地数据库
最新发布
lusklusklusk的博客
06-19 669
集群环境下，在任意一个节点创建数据库，如果加上了ON CLUSTER clustername，则在集群环境的所有节点上都创建了该数据库，并在集群环境的所有节点上都创建了该数据库对应的目录，且数据库的metadata_path对应的目录路径在所有节点都是一致的。集群环境下，在任意一个节点创建数据库，如果不加ON CLUSTER clustername，则只在当前节点建立了这个数据库，其他节点没有自动建立，需要在其他节点也执行创建一遍，且数据库的metadata_path对应的目录在各个节点各不相同。
【最佳实践指南】在ClickHouse中更新和删除数据
IT部落格
03-08 5567
对于一个分析型数据库而言，更新和删除数据是有挑战的，它会显著影响数据库的性能。为了解决这个问题，ClickHouse为不同场景提供了不同的高效更新和删除数据方式：Lightweight删除，通过语句从ClickHouse里删除数据。这是删除数据最高效的方式，适合无需立即释放磁盘空间、允许数据继续存留在磁盘上的场景；Mutation删除，通过语句删除。适合需要立即释放磁盘空间的场景。例如，合规要求需要确保数据从磁盘上删除。Mutation更新，通过语句更新。适合不会频繁更新数据的场景使用TTLs。
clickhouse数据库删除数据的五种方式
热门推荐
ma286388309的博客
02-09 2万+
clickhouse数据库清理数据的方式很多，每种方式都各有自己的优缺点，请根据实际需要采用适合自己的方式，下面逐一介绍。方法三、五将清理全部数据，请确保数据安全，根据实际场景谨慎应用。
【ClickHouse】Clickhouse中update/delete的使用
技术能量站
05-20 1万+
从使用场景来说，Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对update、delete的支持是比较弱的，实际上并不支持标准的update、delete操作。 下面介绍一下Clickhouse中update、delete的使用。 1. 更新和删除的语法 Clickhouse通过alter方式实现更新、删除，它把update、delete操作叫做mutation(突变)。语法为： ALTER TABLE [db.]table DELETE WHERE
clickhouse清除表数据
离风的博客
09-08 6414
clickhouse清除表数据
ClickHouse 实操
zuixue_lei的博客
06-23 2271
时间日期函数 | ClickHouse Docs toYear、toMonth、toDayOfMonth、toHour、toMinute、toSecond alter | ClickHouse Docs 增加一个列，需要在集群中的每个节点都执行一遍。ALTER TABLE tpl_im_mec_vehicle_base_test_local ADD COLUMN track_id UInt32 AFTER dt alter table dw_0710
Clickhouse入门之语法
空城的博客
05-19 2542
ReplacingMergeTree是MergeTree的延伸，只是相比MergeTree多了一个去重的功能，因为MergeTree可以设置主键，但是主键并没有唯一约束，还是会重复，如果想去掉重复的数据就使用ReplacingMergeTree。建议尽可能以整数形式存储数据。稀疏索引的好处就是可以用很少的索引数据，定位更多的数据，代价就是只能定位到索引粒度的第一行，然后再进行进行一点扫描。主键，Clickhouse中的主键只提供了数据的一级索引，但是不是唯一索引，因此会存在主键相同的数据。
Django数据模型中on_delete使用详解
01-21
on_delete属性针对外键ForeignKey 一、django3.0官方文档介绍： Many-to-one relationships多对一关系 To define a many-to-one relationship, use django.db.models.ForeignKey. You use it just like any other...
MySQL防止delete命令删除数据的两种方法
09-10
在MySQL数据库管理中，删除数据是一项常见的操作，但误用`DELETE`命令可能导致无法挽回的数据丢失。为了防止这种意外情况发生，我们可以采取两种策略来确保数据的安全性，即使执行了删除操作，也能轻松恢复。 方法...
sql语言中delete删除命令语句详解
09-11
SQL语言中的`DELETE`命令是用于从数据库表中删除数据的语句，但它是一个非常强大的且潜在危险的操作，因为一旦数据被删除，通常无法恢复。因此，在使用`DELETE`命令时，务必谨慎，并确保对操作有完全的了解和必要的...
SQLite Delete详解及实例代码
09-09
在SQLite中，删除数据是数据库管理的重要操作之一，主要用于移除不再需要的记录。本文将详细介绍SQLite中的`DELETE`语句，并提供实例代码进行演示。 ### DELETE语句详解 `DELETE`语句用于从指定的表中删除一条或多...
Oracle数据操作和控制语言详解
03-05
北京　SQL语言共分为四大类：数据查询...语句用途INSERT向表中添加行UPDATE更新存储在表中的数据DELETE删除行SELECTFORUPDATE禁止其他用户访问DML语句正在处理的行。LOCKTABLE禁止其他用户在表中使用DML语句　插入数据
ClickHouse删除操作
一个有趣、有料、有内涵的地方!
10-22 3185
从使用场景来说，Clic...
clickhouse停用自动清除表/列，也即停用TTL
第九颗树
02-18 1855
1、问题解决 早上发现clickhouse表中的数据无了，一番筛查下来，发现是TTL（生命周期）的锅。 可能是安装clickhouse的时候不小心的配置的，但是搜索一番全是修改TTL时间的，即何时自动删除表中数据，但是想要是不要自动删除数据。 在官方文档中找到了线索： 即在想要的表下面运行这个就可了 # 停用TTL SYSTEM STOP TTL MERGES # 开启TTL SYSTEM START TTL MERGES 2、测试 根据clickhouse中数据的TTL中的测试代码： 创建一个含有TT
clickhouse 创建和删除本地表和分区表注意事项
pang_2899的博客
10-24 3151
clickhouse 创建本地表和分区表时遇到的问题。
clickhouse常用命令:按月删除 导出
tianjinsong的专栏
09-25 1万+
按月删除, testdb是库名，testtable是表名 ALTER TABLE testdb.testtable DROP PARTITION '201907' clickhouse导出 clickhouse-client -h 127.0.0.1 -d log -m -u default --password 123456 --query="select * from test where ...
【clickhouse】 -- clickhouse如何即时删除表中的数据？
巨魔战将
11-21 1万+
clickhouse默认无法实时删除表中的数据   clickhouse默认是不支持实时删除表中的数据，数据的删除通常是异步进行。若是在同写同读的场景，有可能会查询到已经被删除的数据，这可能会导致一些逻辑上的错误，或者误解。   来看下面的示例，可以看出，虽然执行了删除语句，但数据实际没有被删除。 是什么原因导致数据没及时删除呢？ ALTER TABLE … DELETE Statement ALTER TABLE [db.]table [ON CLUSTER cluster] DELETE WHER
clickhouse删除数据语法
07-27
ClickHouse删除数据的语法有多种方式。首先，可以使用delete语句来删除数据。但是需要注意的是，执行delete语句并不会立即删除数据，具体的删除时间取决于数据量的大小。在数据完全删除之前，查询仍然可以查询到数据。为了判断数据是否被完全删除，可以查询system.mutations表来查看删除操作的状态。例如，可以使用以下语句查询system.mutations表中的删除操作： ``` select * from system.mutations where database ='db_test' and table ='t_test' Format Vertical; ``` 另外，还可以使用alter table语句来删除数据。例如，可以使用以下语法删除数据： ``` alter table \[database\].\[table\] delete where \[condition\]; ``` 其中，\[database\]和\[table\]分别表示数据库和表的名称，\[condition\]表示删除数据的条件。注意，在使用delete语句时，一定要加上where条件，可以随便写一个条件来防止全表删除。例如： ``` alter table db_test.t_test delete where statdate > 0; ``` 此外，如果使用的是ReplicatedMergeTree引擎，可以使用以下语法删除数据： ``` alter table db_test.t_test on cluster default_cluster delete where statdate = 2022101221; ``` 以上是ClickHouse删除数据的一些语法示例。具体使用哪种语法取决于你的需求和数据表的引擎类型。 #### 引用[.reference_title] - *1* *2* *3* [【ClickHouse】ClickHouse 实用语法](https://blog.csdn.net/Zsigner/article/details/127388738)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值