hbase 设置TTL释放空间

最新推荐文章于 2023-10-10 16:24:43 发布
原创 最新推荐文章于 2023-10-10 16:24:43 发布
· 3.7k 阅读 · 0 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase

本文探讨了HBase中删除表后磁盘空间未能立即释放的问题，并提供了几种可能的解决方案，包括调整compaction策略及手动清理归档文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

关于这个问题，经过查找，设置ｔｔｌ是必须的

alter "test", "value" xxxx
major_compact # 大合并

但是上面的操作虽然可以

hdfs dfs -u /hbase/data/default/

但是，物理空间的磁盘空间还是得不到释放

参考以下：

http://grokbase.com/t/hbase/user/143kabfd8f/after-drop-big-hbase-table-how-can-i-retrieve-disk-space-immediately
http://stackoverflow.com/questions/11840255/hbase-hadoop-dfs-size-not-decreased-even-after-deleting-a-column-family
https://community.cloudera.com/t5/Cloudera-Manager-Installation/Deleting-files-does-not-clear-disk-space/td-p/8536
http://community.cloudera.com/t5/Storage-Random-Access-HDFS/Duplicated-blocks-get-orphaned/m-p/12134
http://serverfault.com/questions/649309/hbase-space-used-started-climbing-rapidly
https://strongyoung.gitbooks.io/hbase-reference-guide/content/

也许在

/hbase/archive/data/default/tablename

下面有ｓｎａｐｓｈｏｒｔ还是啥，反正是没有释放，网上说这些使用来ｒｅｃｏｖｅｒｙ数据用的。

这里写图片描述

也许我们可以删除，用来释放空间。

这里写图片描述

设置ｃｏｍｐａｃｔ时间为一个小时，明天再继续观察。

记一次hbase的TTL功能不生效问题
trmplarguard的博客
06-30 1344
最近接手了一个的hbase和hadoop的小集群，被告知hbase有TTL不生效的问题（磁盘未释放），做个记录 hbase版本1.2.7 hdfs版本2.7.5 问题描述： hbase中所有的表都配置了TTL，然而hdfs使用量依然不断增加，直至磁盘打满，datanode全挂。 解决过程： 1、在我负责接手这部分服务后，了解到之前伙伴的处理方式简直简单粗暴，每次出现问题，直接rm -rf datanode数据目录下的 BP-XXXXX目录。。。终于知道hdfs为什么会有9000+个corrupt
Hbase的数据清理之TTL设置以及MinVersion所起到的重要影响
czs1130的博客
04-10 6900
1. 前言笔者刚从大数据跳槽到了数据挖掘，有很多过去操作大数据的经验还是想记录下来吧。其中印象比较深刻的还是Hbase的磁盘一直满，然后清理用的TTL设置，需求就是需要自动删除n天前的hbase数据，比起写代码定时删除来说还是用自带的TTL（Time To Live）比较方便一些，为此也是做了很多实验以及发现了MinVersion这个机制。2.TTL设置首先熟悉hbase的人都知道hbase的每个...
hbase 删除数据 释放空间
vbaspdelphi的专栏
02-07 9612
# hbase check hbase size hdfs dfs -du -h /hbase/data/default/[root@ZHJT machtalk]# hdfs dfs -du -h /hbase/data/default 197.4 M 197.4 M /hbase/data/default/API_ACCESS_RECORD 1.0 M 1.0 M /hbase/
HBase 修改TTL 属性释放空间
u010027484的博客
07-11 2979
HBase 修改 TTL 属性，释放空间 1.停用相关表 hbase(main):010:0> disable ‘ResourceURL’ 0 row(s) in 1383.2350 seconds 2.修改TTL属性 hbase(main):015:0* alter ‘ResourceURL’, {NAME=>’value’,TTL=>’2592000′} Updating
HBase中的TTL应用
zhangzywhu的专栏
10-10 8162
HBase中每个数据存储在一个CELL中，HBase可以设置每个CELL保存的最大version数，还可以设置version保存的最大时间TTL(Time To Live)， 生存期(TTL)设置了一个基于时间戳的临界值，内部的管理会自动检查TTL值是否达到上限，超过TTL的值会被删除；TTL参数设置的单位为秒，默认值 是Integer.MAX_VALUE,即2147483647秒。使用默认值
Hbase命令设置TTL/编码设置TTL
Happywzy~的博客
11-12 3889
Hbase关于TTL ColumnFamilies可以以秒为单位来设置 TTL（Time To Live）长度，一旦达到到期时间，HBase 将自动删除行。 设置 hbase.store.delete.expired.storefile 为 false 将禁用此功能。将最小版本数设置为 0 以外的值也会禁用此功能。 也支持设置时间以每个单元为基础生存。单元TTL 是使用突变 setTTL 作为突变请求（例如：Appends、Increments、Puts）的属性提交的. 单元 TTL 以毫秒为单位而不是秒
HBase 在线删除oldWAL释放磁盘空间
数据源的港湾
08-03 3085
HBase的WAL日志会从WAL转移到oldWAL目录，oldWAL可以通过参数来设置保留时效，如以下截图是将oldWAL设置为7天，通过配置hbase.master.logcleaner.ttl指定，这可能会导致磁盘空间占用较大。如果在线上环境碰到磁盘空间占用很大的情况时，可以考虑根据日期条件来删除部分oldWAL日志。（如果是直接删除oldWAL目录下面的所有文件，可能会因为当前正在有WAL移动的动作而导致RegioniServer宕机）......
修改HBase表的TTL
热门推荐
MrTitan的专栏
12-13 1万+
工作中需要修改已经使用表的TTL，遇到了一些问题，做下记录 首先，进入hbase shell 1.disable表是必须的 disable 'table'2.输入alter 'table'，shell弹出一堆提示 Here is some help for this command: Alter column family schema; pass table name and
hbase空间清理
量子人生
02-11 9114
hbase空间清理hbase由于未设置TTL，导致磁盘空间占满，需要删除数据，或设置TTL。 查看磁盘空间占用情况：$ df -m查看磁盘空间占用情况：$ du -sh *最终发现是hadoop文件夹占用最高，确切说是./hadoop/tmp/dfs/data文件夹占空间最大。 根据我们自己的业务情况，容易判断出是hbase不断写入导致的问题，通过查看hdfs得到验证：$ ./hadoop fs
HBase 修改 TTL 属性以释放空间
hochoy的博客
09-13 1万+
40. Time To Live (TTL) ColumnFamilies can set a TTL length in seconds, and HBase will automatically delete rows once the expiration time is reached. This applies to all versions of a row - even the ...
hbase数据删除不释放region解决办法
chs_jdmdr的专栏
05-14 6046
转http://www.aboutyun.com/thread-8306-1-1.html 设置ttl,这个就需要disable表，需要丢数据，实在是没有办法了，然后设置了ttl 1:disable "table"   2:alter 'table' , {NAME=>'la',TTL=>'15768000'}    3:enable "ta
Hbase之TTL
大数据进阶之路
11-26 2423
Hbase之TTLHbase之TTL（Time To Live）1. 前言2. 创建表emp进行测试3. 总结 Hbase之TTL（Time To Live） 1. 前言 今天刚刚接触了Hbase一些知识，对其中的TTL（Time To Live），有些概念理解不是很清楚，也看了官网的一些英文解释，觉得解释的不是很好理解，这篇博客仅仅记录自己对TTL的理解以及做的一个小测试 2. 创建表emp进...
HBase的TTL介绍
weixin_30745553的博客
09-21 973
1. 定义 TTL(Time to Live) 用于限定数据的超时时间。 2.原理 以Column Family的TTL为例介绍， hbase(main):001:0> desc 'wxy:test' Table wxy:test is ENABLED ...
HBase清理回收站空间
因上努力，果上随缘。但行好事，莫问前程。
10-10 441
Hbase回收站空间体积过大导致hbase空间被占满，磁盘使用率告警。
hbase 总结
weixin_45401571的博客
07-16 5052
hbase 知识点总结
Hbase设置TTL
doujiayun3939的博客
11-16 1725
TTL缩写Time To Live，即生存期。TTL设置了一个基于时间戳的临界值， 内部的管理会自动检查TTL值是否达到上限，在major合并过程中时间戳被判定为超过TTL的数据会被自动删除。 TTL参数的单位是秒，默认值是Integer.MAX_VALUE，即2^31-1=2 147 483 647 秒，大约68年。使用TTL默认值的数据可以理解为永久保存。   desc "tt1"   查...
hbase回收站清理周期设置为1天
因上努力，果上随缘。但行好事，莫问前程。
02-03 593
【代码】hbase回收站清理周期设置为1天。
Hbase怎么修改TTL
最新发布
11-26
HBase是一种分布式列式NoSQL数据库，它主要用于处理大规模数据集。在HBase中，Row Key（行键）的Time To Live (TTL) 或者过期时间设置是一项重要特性，可以自动删除过期的数据。要修改已存在的表的TTL，你需要通过Admin API或者Shell命令操作。 1. 使用HBase Shell: 运行以下命令，其中`table_name`是你的表名，`expire_time_in_seconds`是你想要设定的新TTL值（单位秒）： ``` hbase(main):001:0> alter 'table_name', {NAME => 'TTL', VALUE => Integer.toString(expire_time_in_seconds)} ``` 确保替换`expire_time_in_seconds`为实际的过期时间。 2. 使用Admin API: 在Java应用程序中，你可以使用`HTableDescriptor`和`HRegionInfo`类来修改。例如： ```java Configuration config = HBaseConfiguration.create(); HTableDescriptor desc = new HTableDescriptor("table_name"); desc.setTimeToLive(new ExpireTime(expire_time_in_seconds * 1000)); //因为HBase的时间戳单位是毫秒 admin.modifyTable(desc); ``` 请注意，如果你需要改变整个表的TTL，上述操作会作用于表中的所有行，如果只想更改部分数据，你需要在插入新行的时候指定特定的TTL。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值