Hbase在hdfs上的archive目录占用空间过大

最新推荐文章于 2023-01-06 15:40:32 发布
最新推荐文章于 2023-01-06 15:40:32 发布
阅读量8k 收藏 6
点赞数
分类专栏： 大数据 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31598113/article/details/79934919
版权
文章讲述了Hbase在HDFS的/apps/hbase/data/archive目录下空间过大，通过排查发现是表快照占用了大量空间。清理旧的快照并保留最新快照，成功释放了HDFS空间。
摘要由CSDN通过智能技术生成

hbase版本：1.1.2    hadoop版本：2.7.3

Hbase在hdfs上的目录/apps/hbase/data/archive占用空间过大，导致不停地发出hdfs空间使用率告警。

【问题】
告警信息 alert: datanode_storage is triggered 告警信息表明某个或某些data node 的HDFS存储空间使用率已超过阈值(我们设置的是80%)，需要清理。
[hdfs@master-2 root]$ hdfs dfs -du -h /apps/hbase/data/archive/data/
19.1 M  /apps/hbase/data/archive/data/default
12.6 T   /apps/hbase/data/archive/data/good_namespace # 此目录占用过多空间
[hdfs@master-2 root]$ hdfs dfs -du -h /apps/hbase/data/archive/data/default
19.1 M  /apps/hbase/data/archive/data/default/KYLIN_YEDCQ82BF3
[hdfs@master-2 root]$ hdfs dfs -du -h /apps/hbase/data/archive/data/good_namespace
4.8 M   /apps/hbase/data/archive/data/good_namespace/url_history_30
1.3 M   /apps/hbase/data/archive/data/good_namespace/url_history_7
5.8 M   /apps/hbase/data/archive/data/good_na

最低0.47元/天 解锁文章
宝罗Paul
关注
专栏目录
hbase空间清理
量子人生
02-11 8992
hbase空间清理hbase由于未设置TTL，导致磁盘空间占满，需要删除数据，或设置TTL。 查看磁盘空间占用情况：$ df -m查看磁盘空间占用情况：$ du -sh *最终发现是hadoop文件夹占用最高，确切说是./hadoop/tmp/dfs/data文件夹占空间最大。 根据我们自己的业务情况，容易判断出是hbase不断写入导致的问题，通过查看hdfs得到验证：$ ./hadoop fs
HBase | oldWALs目录文件剧增占用磁盘空间问题
俗人
02-25 3334
出现问题原因： 当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务负责定期清理。 HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件，如果有就放弃清理，如果没有就清理对应的...
hbase参数调整
测试工程师Eric的路...
05-07 2758
简单的参数调整，适合初级学习 1.hbase中hfile的默认最大值(hbase.hregion.max.filesize) 256MB  --10GB？？ 根据结果得到如下结论：值越小，平均吞吐量越大，但吞吐量越不稳定；值越大，平均吞吐量越小，吞吐量不稳定的时间相对更小。 2. autoflush=false的影响 2M(hbase.client.write.buffer决
Hbase实战问题（一）：清理Hbase的hdfs上archive目录
在前进的路上
01-05 4000
目录 一、背景 二、问题 三、分析并解决 一、背景 服务器的磁盘空间一直报警，查看hdfs已经占用了快满了，这时排查hdfs的各个目录占用空间，发现hbase占用很大 # 查看hdfs根目录各文件夹占用空间 hdfs dfs -du -h / 查看hbase文件下的各个文件夹占用空间 hdfs dfs -du -h /hbase 二、问题 hdfs dfs -du -h /hbase/archive 占用很大 三、分析并解决 1、分析 ...
解决HBase空间占用过大问题
weixin_44376595的博客
08-04 2701
解决HBase空间占用过大问题问题现状：HBase中存储的数据不是很大，但是占用空间巨大解决方式：修改HBase表的压缩算法查看表压缩参数信息修改HBase表的压缩算法执行major compact执行后效果 问题现状：HBase中存储的数据不是很大，但是占用空间巨大 如下图可见HBase表中有几个占用空间未几十G 解决方式：修改HBase表的压缩算法 查看表压缩参数信息 通过desc命令可以查看到表的压缩算法COMPRESSION为NONE，这个是导致数据占用空间大的直接原因 hbase(main):0
查询hbase表空间占用大小
最新发布
wangyue033的博客
01-06 1620
查询hbase表空间占用大小
hbase-1.1.2的oldWALs占用过大hdfs空间问题的解决
weixin_43391069的博客
07-24 1200
hdfs使用一段时间后，发现空间占用很多，经查是/hbase/oldWALs占用很多，原因在最后，先上解决方法 以下是我的处理流程： hadoop dfs -du -h /hbase 一、先闭关hbase 二、修改配置文件 确保hbase-site.xml中的属性hbase.replication=false和属性hbase.backup.enable=false 如果是true就改成false，如果没有那两个属性则添加上去后重启整个hbase集群。 hbase.replication false
HBASE 表空间大小及常用命令
rznice的专栏
12-10 2258
假设 $HBASE 为HBASE的安装目录； $HADOOP为HADOOP的安装目录。 运行 $HADOOP/bin/hdfs dfs -du -h / 918.5 M /hbase 3.0 M /tmp $HADOOP/bin/hdfs dfs -du -h /hbase 0 /hbase/.tmp 91 /hbase/WALs 0 /hba...
Hbase_目录结构.pptx
06-19
/hbase/archive (1) 进行snapshot或者升级的时候使用到的归档目录。compaction删除hfile的时 候，也会把旧的hfile归档到这里等。 /hbase/corrupt (2) splitlog的corrupt目录，以及corrupt hfile的目录。
hbase在hdfs上目录的介绍
ShiHao_Li的博客
06-07 393
hbase目录的介绍 下面是hbase在hdfs上目录的介绍 ## (1) 进行snapshot或者升级的时候使用到的归档目录。compaction删除hfile的时候，也会把就的hfile归档到这里等。 /hbase/archive ## (2)splitlog的corrupt目录，以及corrupt hfile的目录。 /hbase/corrupt ## (3) 表的基本属性信息元文件tableinfo。 /hbase/data/default/mytab/.tabledesc/.tabl
Hbase在HDFS上的目录说明
sinat_33201781的博客
08-06 2578
hbase安装在ubuntu虚拟机上，分配了20G的硬盘，但是数据保存到3千万的时候就报错说打不开文件了。机器重启之后报错说没有空间了。可是之前查看的时候数据才1.5G，为了弄清楚问题，了解了一下hbase的保存。 大部分空间被archive这个文件夹占用了，顺便了解一下所有文件夹的作用 1./.tmp 这个目录用来存储临时文件，当对表进行操作的时候，首先会将表移动到该目录下，然后再进行操...
【HBase基础】-- HBase 在 HDFS 上的目录说明
欢迎来到我的博客，一起探索代码里的世界！
09-26 1979
1 说明 HBase 在 HDFS 上的目录共有 3 部分：根目录、表目录和 Region 目录。 2 目录说明 2.1 根目录 xml 配置：<name> hbase.rootdir</name> 默认 “/hbase” (1)/hbase/WALs 被 HLog实例管理的WAL文件。 ## /hbase/WALs/data-hbase.com,60020,1542159360923 对于每个HregionServer,日志目录中都包含一个对应的子目录 ## h.
hbase 默认目录_[HBase] HBase数据存储目录解析
weixin_39577422的博客
12-20 4574
Hbase在hdfs上的存储位置，根目录是由配置项hbase.rootdir决定，默认就是"/hbase"/hbase/WALs在该目录下，对于每个RegionServer，都会对应1~n个子目录/hbase/oldWALs当/hbase/WALs中的HLog文件被持久化到存储文件时，它们就会被移动到/hbase/oldWALs/hbase/hbase.id集群的唯一ID/hbase/hbase....
Hbase在HDFS上的各个目录作用
shengjk1的博客
10-05 4518
1、/hbase/.META. 就是存储1中介绍的 META 表的存储路径。 2、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。 3、/hbase/.corrupt 存储HBa
hbase目录结构
libo__hadoop 大数据
11-21 4036
hbase的数据保存在hadoop的hdfs中。通过hbase-site.xml配置hbase.rootdir制定在hdfs的路径 目录组成如下图： WALs目录中保存了hbase的WAL日志文件（Write-ahead-log),每台regionserver的WAL文件保存在以这台服务器hostname为首字母命名的目录中。 old_WALs目录用于存储过期的WAL日志.o
Hbase 删表过程
jast
10-09 1202
Hbase 执行删表命令后(drop)，表的数据会移动到 /hbase/archive 目录下，并不会直接从hdfs删除，后台会有进程定期去检查（默认五分钟），如果这张表没有快照则会删除，有快照会保留数据。 刚drop时，目录下有数据 过几分钟，除了快照的数据其他均已删除 ...
【kafka】CDP集群 kafka-ranger-audit-spool 日志太大问题排查
Mrerlou的博客
06-13 753
最近发现 服务 的 审计目录假脱机日志过多，过大。这里整理并记录一下解决方案。 服务 日志过多。 问题原因 当为 启用 审计时，当写入 失败时，审计日志数据会在本地磁盘上假脱机。我们的 服务和 服务的相关配置如下：那么为什么写入 失败呢，通过查看上下文发现 ranger 没有写入 文件的权限。CDP 环境解决如下： -> ->如果环境不为 CDP 环境：实际上就是创建 服务对应的 目录，并对 目录赋予正确的权限，使得 能够正常写入数据到 即可。..............
day02(hBase)
yygyj的博客
08-01 1100
hbase
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值