【clickhouse】clickhouse 大表删除 Size 256G is greater than max_[table/partition]_size_to_drop 50GB

已于 2024-01-31 18:37:53 修改
阅读量1.4k 收藏
点赞数
分类专栏： clickhouse 文章标签： linux
于 2021-10-10 12:04:45 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120684665
版权
clickhouse 专栏收录该内容
139 篇文章 635 订阅 ¥19.90 ¥99.00
订阅专栏
在尝试删除ClickHouse中360G的大表时遇到错误，由于表大小超出50GB的限制。解决方法包括修改配置文件增加删除限制或创建强制删除标志文件。警告：后者可能造成数据丢失。另外，TRUNCATE命令和直接删除操作不可行。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

因为一些原因需要删除clickhouse的表，但是这个表很大，大概有360G,然后发现删除不掉

1.clickhouse1 :) select count(1) from ailpha_security_alarm2;

┌──count(1)─┐
│ <
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Clickhouse：日志表占用大量磁盘空间怎么办？
啃编程
05-19 6091
背景 clickhouse有很多系统表(参见https://clickhouse.com/docs/en/operations/system-tables），其中一些用来存储日志，比如query_log、query_thread_log、trace_log。默认情况下，ClickHouse不清理日志，因此随着时间推移，这些表会占用大量磁盘空间，有导致系统宕机的风险。 查看日志表的大小 可以通过system.parts查看各个表的大小。 SELECT sum(rows) AS `总行数
clickhouse如何删除大表
gjc592的博客
06-13 2102
点击上方蓝字关注我clickhouse在单表或单分区超过50GB时，将无法直接删除1. 案例模拟删除单表或单分区超过50GB时，删除报错的情况1.1 一个表中超过50GB的分区--删除分区的脚本如下 ALTERTABLEtestdb.testDROPPARTITION(20220606,'12');报错信息如下Code:359.DB::Exception...
clickhouse
xy908325的博客
09-05 1388
下载地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/ clickhouse-test-19.4.0-2.noarch.rpm clickhouse-common-static-19.4.0-2.x86_64.rpm clickhouse-common-static-dbg-19.4.0-2.x86_64.rpm clickhouse-s...
Size (154.47 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB) 2. File ‘/data/servic
念念不忘，必有回响
03-08 2589
错误 Reason: 1. Size (154.47 GB) is greater than max_[table/partition]_size_to_drop (50.00 GB) 2. File '/data/service/clickhouse/flags/force_drop_table' intended to force DROP doesn't exist How to fix th ... 产生原因 这是在执行 drop table操作一张超过50gb的MergeTree报错的，删除不
clickhouse日志表占用大量磁盘空间
qq_37758790的博客
07-03 1373
注意此处的目录是使用错误提示的这个目录，因为我更改了clickhouse的默认数据存储目录，所以可能跟你提示的不一样。ps：然后有一个恶心的地方就是每需要删除一个大数据的分区的时候都需要执行一遍上述的linux命令 恶心~ps通过删除分区的方式删除数据的效率会高一点，然后问题来了当我删去耨个分区的数据的时候报错了。这个分区的数据超过50G，ck处于保护机制，是禁止这样删除大数据的表格的。可以看到query_thread_log表的分区也是年月格式的。然后使用下面sql使用删除分区的方式开始删除数据。
clickhouse 删除表_查询提升 200 倍，ClickHouse 你值得拥有！
weixin_39995764的博客
02-01 442
Java技术栈www.javastack.cn关注阅读更多优质文章作者：起个帅的名来源：https://juejin.im/post/6863283398727860238ClickHouse 是 Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快 100-1000 倍。ClickHouse 的性能超过了目前市场上可比的面向列...
Clickhouse删除表某一天分区
感谢你的关注~~~~ღ( ´･ᴗ･` )
07-24 1万+
ALTER TABLE kuming.tableName DELETE WHERE toDate(insert_at_timestamp)='2020-07-21';
clickhouse配置项users.xml详解
Aiky哇
11-17 1万+
说明 ClickHouse支持基于RBAC方法的访问控制管理。（关于RBAC的介绍） 作为一个分析类型（OLAP）的数据库系统，相对于MySQL数据库在用户管理方面有很大不同，clickhouse支持使用两种方式配置访问实体： 一是通过sql直接设置，这也是官方推荐的，但是需要至少一个用户帐户启用SQL驱动的访问控制和帐户管理，这需要使用第二种方式设置access_management 二是通过配置文件users.xml，默认位置在/etc/clickhouse-server目录下，ClickHou
离线安装docker、docker_redis
最新发布
m0_55713969的博客
03-18 1678
一、离线安装docker1、下载离线包2、安装docker# 复制docker-20.10.9.tgz到 /usr/bin下（usr/bin是环境变量目录，在路径下可以直接运行docker命令）# 解压配置docker服务# 添加[Unit][Service][Install]赋执行权限# 开机启动# 启动docker# docker状态# 重启docker服务下载离线包下载的最新版本（这里要展开才能看到）上传安装包。
数据仓库中的拉链表-Clickhouse实现.pdf
08-26
Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统（columnar DBMS）。 传统数据库在数据大小比较小，索引大小适合内存，数据缓存命中率足够高的情形下能正常提供服务。但残酷的是，这种理想情形最终会随着业务的增长走到尽头，查询会变得越来越慢。你可能通过增加更多的内存，订购更快的磁盘等等来解决问题（纵向扩展），但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果，那么ClickHouse也许可以解决你的问题。
列式数据库ClickHouse，大宽表聚合、报表一下全搞定
小王博客基地
11-01 2225
关系型数据库（ MySQL、Oracle、PostgreSQL）非关系型数据库（Redis、MongoDB、Cassandra、Neo4j）全文搜索引擎和分布式文档存储系统（Elasticsearch ）列式数据库（ClickHouse）每种都在各自的领域表现出色，但当涉及到大规模数据分析和复杂查询时，ClickHouse 出现在了舞台上。ClickHouse使用列式存储，这意味着它可以高效地执行聚合、过滤和排序操作。面试经常问到大宽表查询聚合怎么办，这不是解决方案来了嘛！！
clickhouse物化视图实时构建宽表
曌的博客
07-02 1995
--实测只有主表动宽表动，从表动主表不动宽表不动 CREATE MATERIALIZED VIEW dws_iot.realtime_device engine = CollapsingMergeTree(sign) PARTITION BY toYYYYMM(created_date) order by id POPULATE AS SELECT dv.id AS id, dv.sign AS sign, dv.created_date AS created_date,
clickhouse常用操作命令
anyitian的博客
04-15 1万+
文章目录前言基本操作客户端常用参数多行查询常用的sql语法导入csv数据导入数据时忽略错误导出csv数据删除分区查看表大小执行sql文件查看分区信息查看后台进程杀死后台进程 前言 在日常使用clickhouse中，会用到很多命令，特此整理记录一下。以下大部分内容都来自clickhouse_中文文档.pdf。 文档链接：https://pan.baidu.com/s/1Ai33BE6jClIs9kMDElv5Yg 提取码：pp7h 基本操作 在我们日常使用clickhouse中，用的最多的应该就是客户
ClickHouse中表的操作
思过留痕
01-17 2万+
1、删视图表与本地表 DROP table db.视图表 ON CLUSTER cluster_name; DROP table db.本地表 ON CLUSTER cluster_name; 2、删表的列 ALTER TABLE db.视图表 ON CLUSTER cluster_name DROP COLUMN column_name1, DROP COLUMN column_name2; ...
27.hadoop系列之50G数据清洗入库秒查询实践
算法小生
06-02 356
这插入速度还行吧,插入后，存在两条记录，对于ReplaceMergeTree来说，无妨，看过之前文章的你应该很熟悉为啥了吧。目前本地有50G的企业年报csv数据, 需要清洗出通信地址，并需要与原有的亿条数据合并以供业务查询最新的企业通信地址。新建字段mail_address1，剔除省市区前缀信息，列式存储，全量更新很快，请不要单条那种更新。我们50G的数据无须上传至集群处理，上传目前带宽2M/S, 巨慢，我直接在本地hadoop处理。我们先看下数据格式，以@_@分割，最后一列是杂乱的数据。
为什么clickhouse适合做（离线）报表（大宽表）数据存储？
stubbornTu的博客
07-01 4448
clickhouse的简介和简单测试
clickhouse物理存储结构及修改删除操作
lixia0417mul2的博客
04-30 2688
clickhouse 物理存储结构 修改 删除操 删除语句形如： alter table clickhouseTable delete where id >10 等sql语句的执行是一个非常耗费资源的操作，他会消耗大量的磁盘io和cpu时间周期，其sql的执行过程是异步的，有专门的后台执行线程异步执行，sql语句是不支持事务操作的，一旦执行就会开始对数据产生影响，并且无法回滚. click
clickhouse数据库删除数据的五种方式
热门推荐
ma286388309的博客
02-09 2万+
clickhouse数据库清理数据的方式很多，每种方式都各有自己的优缺点，请根据实际需要采用适合自己的方式，下面逐一介绍。方法三、五将清理全部数据，请确保数据安全，根据实际场景谨慎应用。
ora-00823: specified value of sga_target greater than sga_max_size
04-30
ORA-00823是Oracle数据库的一个错误代码，它指出sga_target的指定值大于sga_max_size的值。 SGA代表“共享全局区”，是Oracle数据库中重要的组成部分之一，它用于存储数据库运行时所需的数据缓存区。sga_target表示SGA可以使用的内存总量，而sga_max_size则表示SGA最大可用内存的大小。 当ORA-00823错误出现时，说明SGA已经使用了所有可用的内存资源，无法再分配更多的内存。这意味着，如果要增加sga_target的值，则必须先增加sga_max_size的值。 为解决ORA-00823错误，需要重新配置数据库参数，提高sga_max_size的值。这可以通过在Oracle实例的初始化参数文件中配置sga_max_size参数来实现。 值得注意的是，增加sga_max_size的值可能会导致系统内存不足而出现问题。因此，在进行此操作前，必须仔细评估计算机的内存资源，以确保足够的内存可用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值