hbase-1.1.2的oldWALs占用过大hdfs空间问题的解决

HBase oldWALs过大清理策略与解决方案
最新推荐文章于 2024-12-13 10:29:10 发布
原创 最新推荐文章于 2024-12-13 10:29:10 发布 · 7.5k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS #大数据运维

HBase中的oldWALs目录在不再需要HLog文件时会被移到这里，通常由HMaster定时清理。如果oldWALs占用过大，可以通过设置`hbase.master.logcleaner.ttl`配置属性减少保留时间，或确保`hbase.replication`和`hbase.backup.enable`为false来避免复制和备份导致的占用。在Ambari中添加`hbase.backup.enable=false`并重启集群可以有效清理oldWALs。
为什么会出现oldWALs？

【原因】

当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务负责定期清理。

HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件，如果有就放弃清理，如果没有就清理对应的hlog。在手动清理oldWALs目录数据的同时，如果没有删除对应的znode数据，就会导致HMaster不会自动清理oldWALs。

另附某网友的解答：

The folder gets cleaned regularly by a chore in master. When a WAL file is not needed any more for recovery purposes (when HBase can guaratee HBase has flushed all the data in the WAL file), it is moved to the oldWALs folder for archival. The log stays there until all other references to the WAL file are finished. There is currently two services which may keep the files in the archive dir. First is a TTL process, which ensures that the WAL files are kept at lea

最低0.47元/天 解锁文章
HBase 在线删除oldWAL释放磁盘空间
数据源的港湾
08-03 3265
HBase的WAL日志会从WAL转移到oldWAL目录，oldWAL可以通过参数来设置保留时效，如以下截图是将oldWAL设置为7天，通过配置hbase.master.logcleaner.ttl指定，这可能会导致磁盘空间占用较大。如果在线上环境碰到磁盘空间占用很大的情况时，可以考虑根据日期条件来删除部分oldWAL日志。（如果是直接删除oldWAL目录下面的所有文件，可能会因为当前正在有WAL移动的动作而导致RegioniServer宕机）......
HBase .oldlogs存储空间过多清理
因上努力，果上随缘。但行好事，莫问前程。
10-12 604
hbase的/hbase/.oldlogs存储空间占用过多，触发hbase-slave存储空间占用告警。
/hbase/oldWALs 文件
最新发布
qq_45972323的博客
12-13 817
即使复制被禁用，这些文件仍然会被引用，导致它们不会被自动清理。：HBase 依赖于 Zookeeper 来保持状态，如果 Zookeeper 中的某些状态没有被及时清理，可能会导致对应的 WAL 文件在 HDFS 上也没有被及时清理。这个 TTL 时间可以通过设置。：当 HBase 的 WAL 文件不再被需要用于恢复（即所有的数据都已经持久化到 HFile 中）时，这些 WAL 文件会被移动到。：如果在 HBase 集群的运行过程中出现了异常或错误，可能会导致 WAL 文件没有被正确处理和清理，从而在。
一次清理Hbase的oldWALs的过程
weixin_30367945的博客
06-22 2098
HBase版本：1.3.1 Hadoop版本：2.7.1 Zookeeper版本：3.4.6 --------------------------------- 检查线上业务系统的磁盘空间， 发现HDFS的oldWALs日志占用了大量的空间。 我们的集群分为两套，前置一套，后置一套， 其中，利用hbase的replication功能能，由前置向后置集群同步数据。 经过一翻调查...
HBase oldWALs目录文件剧增占用磁盘空间问题
学亮编程手记
06-15 1421
出现问题原因： 当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务负责定期清理。 HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件，如果有就放弃清理，如果没有就清理对应的hlog。在手动清理oldWALs目录数据的同时，如果没有删除对应的znode数据，就会导致HMaster不会自动清
hbase-1.1.2-bin.tar.gz
01-14
HBase是Apache Hadoop生态系统中的一个分布式、版本化、基于列族的NoSQL数据库，它在大规模数据存储和实时查询方面表现出色。标题中的“hbase-1.1.2-bin.tar.gz”指的是HBase 1.1.2版本的二进制发行包，通常以压缩...
hbase-1.1.2-bin及使用说明
05-09
HBase是Apache Hadoop生态系统中的一个分布式列式数据库，它主要设计用于处理大规模的数据存储和检索。这个压缩包“hbase-1.1.2-bin”包含了HBase 1.1.2版本的源码、编译后的二进制文件以及相关依赖，适合在大数据...
hbase-1.2.1-bin.tar的压缩包，下载到本地解压后即可使用 HBase 是一个开源的、分布式的NoSQL 数据库
07-02
HBase 是一个开源的、分布式的、版本化的 NoSQL 数据库（也即非关系型数据库），它利用 Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）提供分布式数据存储。与传统的关系型数据库类似，HBase 也以...
docker部署的hbase的数据目录下oldWALs的数据猛涨，占用大-问题处理记录
weixin_44850346的博客
10-16 470
处理过程：HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件，如果有就放弃清理，如果没有就清理对应的hlog。在手动清理oldWALs目录数据的同时，如果没有删除对应的znode数据，就会导致HMaster不会自动清理oldWALs。产生的原因，发现日志有报错也会导致这里文件大涨（目前观察这个原因，处理完后，观察了这个文件增长速度并不快，没处理之前一分钟一GB的增长）##上面连接说加的配置，配置了看着没生效，待观察中。
线上环境HBASE-1.2.0出现oldWALs无法自动回收情况；
gongxiucheng的专栏
06-14 2007
正常情况下，hmaster会定期清理oldWALs文件夹，一般该文件大小也就几百兆，但是我们线上 环境出现了该文件没有自动回收情况，如图： 该目录占用hdfs空间多达7.6T，浪费空间： 后来经过多番查找，找到了问题所在，之前开启hbase复制之peers，参考博文连接如下： https://stackoverflow.com/questions/28725364/hbase-oldwals-...
hbase oldWALs 目录一直增长问题
vbaspdelphi的专栏
02-14 3557
检查 查看日志，看看有没有 is out of range如果是这样，恭喜你中奖了，可以参考 http://www.hot123.org/index/content/51254.html 这篇文章，修改哥zookeeper参数，也许有效。 检查zookeeper某个节点下是否有值 # 如果安装的是CDH5.5.0-0.8 /opt/cloudera/parcels/CDH-5.5.0-1.cdh5.
/hbase/.oldlogs 存储空间过多如何清理
因上努力，果上随缘。但行好事，莫问前程。
01-17 661
打开http://${master}:${port}/cm.jsp 账号密码均为hbase输入密码后，页面如下：调整master的log保留时间由默认的3天改成1天(注意数据安全，尽量在存储空间无风险的情况不要进行改操作)hbase.master.logcleaner.ttl 该值默认为259200000，代表3天，将该修改为86400000 1天如下：点击load使得该值被加载。
Hbase2.2.1出现惊人大坑，为什么会出现oldWALs？导致磁盘空间莫名不断增加。
chen5131421的专栏
04-03 6036
Hbase2.2.1出现惊人大坑，为什么会出现oldWALs？导致磁盘空间莫名不断增加。 【问题发现】突然有几天，没有进行写数据操作，但MASTER主节点的HDFS不断增加，而且是每10分钟增加1个G左右的大小，就是一个小时12G空间就明显没有了 【原因】 当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase....
hbase java 磁盘容量_HBASE文件太大，磁盘空间不足，清楚日志oldWALs
weixin_31156677的博客
02-25 707
版本信息Hadoop: 3.0.0-cdh6.3.2hbase :2.1.0-cdh6.3.2当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务负责定期清理。网上说了很多方法，类似改配置文件会自动清除，我做了，但不管用。我用的这个版本的文件，直接删除...
HBase | oldWALs目录文件剧增占用磁盘空间问题
俗人
02-25 3658
出现问题原因： 当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务负责定期清理。 HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件，如果有就放弃清理，如果没有就清理对应的...
Hbase WALs(HLog) 文件存储，查看
jast
08-14 5970
WALs(HLog) 存储 HLog 存储位置是在，hbase配置目录下WALs目录，默认为 /hbase/WALs 与 /hbase/oldWALs /hbase/WALs : 存储未过期的日志 /hbase/oldWALs : 存储已过期的日志 这里先查看WALs日志目录，目录格式为：hostname1 为 服务器hostname ， 16020 为hbase 端口，15617...
针对docker中Hbase下的oldWALs文件夹log文件暴涨的解决方案
Dog_Z的博客
06-09 793
前言 ​ 啊就，也不知道为什么，我好像总是能遇上硬盘爆满的问题，自从上一次给甲方部署项目遇到overlay2文件夹爆满之后，这次给甲方部署项目又遇上了hbase的oldWALs文件夹爆满，总感觉是自己拥有了硬盘不满不死的体质。 ​ 这一次的问题其实很好解决，但是由于我hbase的数据是直接迁移的，导致我花了一天的时间，不断的重打镜像都没搞定这个问题，因为中间穿插着好几次，habse shell中，list能看到表格，但是scan的时候却报unknown table的错误，这个人内心的炸裂的！ ​ 还好，第二
HBase Client 1.1.2 API文档中英双语版完整包
资源摘要信息:"HBase是一个开源的非关系型分布式数据库（NoSQL），它是Apache Software Foundation的Hadoop项目的一部分，旨在提供快速、随机访问非常大的数据集。HBase特别适合于处理稀疏数据集，它在水平方向扩展...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值