hdfs-audit.log audit日志 审计日志导致磁盘空间不足

已于 2022-10-21 09:19:38 修改
阅读量1.6k 收藏
点赞数
分类专栏： Ambari Hadoop 文章标签： hdfs hadoop 大数据
于 2021-05-25 10:56:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41772761/article/details/117251027
版权
本文记录了基于Ambari部署Hadoop时遇到的审计日志占用磁盘空间的问题，详细列出了/var/log/hdfs/目录下大量的hdfs-audit.log文件，并检查了HDFS配置，未发现有关日志过期或大小限制的相关设置。
摘要由CSDN通过智能技术生成

基于ambari部署hadoop
/var/log/hdfs/下含有大量审计日志导致磁盘空间占满

......
-rw-r--r-- 1 hdfs hadoop 12188299101 May 20 23:59 hdfs-audit.log.2021-05-20
-rw-r--r-- 1 hdfs hadoop 12194929677 May 21 23:59 hdfs-audit.log.2021-05-21
-rw-r--r-- 1 hdfs hadoop 12202372668 May 22 23:59 hdfs-audit.log.2021-05-22
......

查看hdfs配置
在这里插入图片描述
没有找到过期参数或者文件大小限制
自定义配置参数
在这里插入图片描述
在这里插入图片描述

肉装法师
关注
专栏目录
hadoop配置文件详解系列（二）-hdfs-site.xml篇
关于代码的那些事
03-09 2506
上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 　 处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 d
CDH清理磁盘空间完全攻略和完整实现自动化脚本（大数据清除日志）
大模型大数据攻城狮的专栏
08-01 377
在CDH集群中，自动清除日志的意义非常重大。尤其是在内网环境下，运维人员无法随时登录服务器进行操作，或者是因为放长假等原因不能每天进行运维工作。这时，如果日志不自动清理，就会面临日志空间满了的问题，这可能造成CDH各组件无法正常工作，离线数仓计算完全停止。考虑到运维人员不能时时刻刻地在现场进行操作的实际情况，自动清除日志显得尤为重要。比如，当运维人员因为放长假或其他原因暂时无法处理系统日志时，如果系统能够自动清理过期或不必要的日志，就能有效减少系统故障的风险。自动清除日志还能有效节省存储空间和维护成本。
hdfs auditlog(审计日志)
10-07 882
hdfs审计日志(Auditlog)记录了用户针对hdfs的所有操作，详细信息包括操作成功与否、用户名称、客户机地址、操作命令、操作的目录等。对于用户的每一个操作，namenode都会将这些信息以key-value对的形式组织成固定格式的一条日志，然后记录到audit.log文...
yarn-auditlog-parser:Yarn的hdfs-audit.log的日志文件解析，从ip,用户名，时间段维度对hdfs的qps量进行统计
05-09
yarn-auditlog-parser Yarn的hdfs-audit.log的日志文件解析，从ip,用户名，时间段维度对hdfs的qps量进行统计 原理介绍 此工具用于分析hdfs-audit日志文件中的hdfs请求,比如下面是一条完整的记录 2015-09-09 05:29:54,727 INFO FSNamesystem.audit: allowed=true ugi=data (auth:SIMPLE) ip=/192.128.10.15 cmd=open src=/user/data/.staging/job_1441718170682_2949/job.jar dst=null perm=null proto=rpc 解析程序主要抽取出其中的时间,ugi用户信息,ip地址信息,cmd操作命令信息,然后进行各个维度统计. 下面是几种使用方法 1.用户分时段统计 java -j
HDFS开启审计日志
最新发布
Shyllin的博客
10-16 523
HDFS开启审计日志
解决Hadoop审计日志hdfs-audit.log过大的问题
白杨Shayne的博客
08-02 2732
新搭建的Hadoop环境没怎么用，就一个环境天天空跑，结果今天运维告诉我说有一台服务器磁盘超过80%了，真是太奇怪了，平台上就跑了几个spark测试程序，哪来的数据呢？终于发现在Hadoop的日志目录下，有一堆hdfs-audit.log日志，并且每个都有好几百M，删除之后，跟目录瞬间从81%减低到了42%；过了几天后，再检查服务器，发现磁盘根目录使用率没有明显增大，问题完美解决了~问题是暂时解决了，可这样不是长久之计，审计日志还在写，过几天还得来删除。用df查看，是根目录，还不是数据盘；
hdfs设置默认日志级别l；设置hdfs-audit审计日志级别
路飞
05-25 831
Hadoop的默认日志级别为INFO,Hadoop使用的是log4j记录日志，如果去修改。，会被系统环境变量所覆盖，所以即使修改了这里的配置，重启也会无法生效。,添加修改如下变量，如果没有此变量就添加即可，有的话就将。所以就重HDFS的环境变量配置文件中下手，修改。如果为Apache单服务集群还需要修改。重启服务即可，观察日志情况。修改为需设定的日志级别。
探寻hdfs-audit log -1
qq_36108146的博客
02-22 1902
最近集群压力较大，为了缓解集群压力，开始分析hdfs-audit log。对于hdfs-audit 审计日志，我们先看一些常用命令； cmd 命令解释： getfileinfo mkdirs setAcl -- checkOperation(OperationCategory.WRITE); getAclStatus -- checkOperation(OperationCategor...
Ozone Audit Log解析工具的应用
走在前往架构师的路上
12-08 1134
文章目录前言Ozone的OM, SCM服务的audit log格式OM, SCM服务audit log的loadOM, SCM服务audit log的query和template query引用 前言 熟悉HDFS的同学可能经常会使用到audit log文件做问题的tracking。说起audit log，它的作用可不小，它按照时间顺序精确地记录了每次的请求操作。通过这些精确的记录，我们得以精确...
Flume采集HDFS audit log日志至HDFS
Deegue
05-19 1775
1、背景 HDFS的audit log产生数据量很大，速度也很快，在机器系统盘上必须立即持久化到HDFS，否则数据会被覆盖或者磁盘会打满。 用于数据治理-HDFS废弃文件、Hive废弃表检测与清理。 2、实现 ① Apache Flume官网下载最新版本的Flume。 ② 配置audit_log_hdfs.conf # 一个channel一个source 配置3个sink a1.sources = r1 a1.sinks = k1 k2 k3 a1.channels = c1 # 数据来源，给c1配置s
CDH集群日志清理
延宝小白马的博客
09-27 1585
1.2 还有一个是 Cloudera Management Service服务产生的日志，存在/var/lib/...1.1 cdh的各组件的日志一般在/var/log目录下(最好前面加上/data)，因此主要关注“/”查看/data/var/log下使用空间较大的文件夹，并由大到小排列。1.1 清理cm、cdh组件的日志数据。1.3 清理hdfs回收站数据。1.2 清理监控服务的数据。
CDH 集群定期清理指南
萌兔兔MMQ！！
08-15 877
可以在CM里启动（hdfs-balancer-示例-操作-重新平衡），也可以命令启动（hadoop balancer [-threshold ]）。解决方法一：主要清理cloudera-host-monitor 、cloudera-service-monitor。下面是我写的一个shell脚本，可以查看所有目录和文件的大小，将大的无用文件删除。例：subject_ts、ts_subject、ts等带有ts的目录（慎重啊）例：subject_ts、ts_subject、ts等带有ts的目录。...
hadoop的log4j_and_hdfs_audit.log开启
bck1453925668的博客
08-09 1301
在Hadoop2.9.2的log4j.properties配置文件中，默认情况下日志有两种滚动方式： log4j.appender.RFA=org.apache.log4j.RollingFileAppender log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender 其中RFA和DRFA为关键字。 若想起用某种方式需要在...
Hadoop audit
半日闲的博客
01-29 2008
Hadoop audit 配置 修改log4j.properties # # hdfs audit logging # hdfs.audit.logger=INFO,NullAppender hdfs.audit.log.maxfilesize=256MB hdfs.audit.log.maxbackupindex=20 log4j.logger.org.apache.hadoop.hd...
hadoop配置自动清理日志
热门推荐
张伯毅的专栏
01-28 1万+
hadoop在运行时间长了之后，日志文件，会占用很大，极端情况，会导致硬盘满。影响业务的正常运行。 解决方式：   步骤一、修改core-site.xml配置文件   <property>     <name>hadoop.logfile.size</name>     <value>10000000</va...
审计日志(audit_log )文件过大
HighGO
08-03 4173
目录 环境 症状 问题原因 解决方案 环境 系统平台：N/A 版本：4.3.4,4.3.4.2,4.3.4.3,4.3.4.4,4.3.4.5,4.3.4.6,4.3.4.7 症状 数据库审计日志文件无限扩增,未启动自动清理机制，磁盘爆满导致数据库异常停止。 问题原因 原因是安全审计配置会影响磁盘空间的使用。 业务量大的时候，会生成大量审计日志，占用大量磁盘空间。 而磁盘空间较小时，很可能造成数据库故障。 默认情况下审计的范围是all，审计数据库所有的操作。审计的..
基于FsImage和AuditLog的HDFS元仓建设 - （1）数据源篇
qq_38783098的博客
04-27 721
如今大数据时代，动辄就是几十上百PB的数据量，每日有会大量的新增数据。 HDFS 存储整体的增长情况如何？或许还可以监控 NameNode 的 Summary 来获取。但这只是粗粒度的数据，很难在其中探查出可用于优化的信息。 我们会想知道某个目录的一些具体信息，比如： 数据量是多少？ 增长趋势如何？ 小文件数量如何？ 访问情况如何？ 是否长时间无人访问，可以删除？ 访问频率低但仍需长时间保存，可以通过冷存储降低存储成本？ 对 HDFS 进行监控、治理离不开这些数据的支持，那么这些数据又该如何获取呢？
ln -s /opt/module/hadoop-3.3.4/etc/hadoop/hdfs-site.xml /opt/module/hbase- 2.4.17/conf/hdfs-site.xml ln: 目标"2.4.17/conf/hdfs-site.xml" 不是目录
06-11
这个错误提示是因为你试图将 `/opt/module/hadoop-3.3.4/etc/hadoop/hdfs-site.xml` 软链接到 `/opt/module/hbase-2.4.17/conf/hdfs-site.xml`，但是 `/opt/module/hbase-2.4.17/conf/hdfs-site.xml` 已经存在且是一个文件，不是目录。 你可以尝试先删除 `/opt/module/hbase-2.4.17/conf/hdfs-site.xml` 这个文件，然后再执行软链接命令。或者你可以将软链接的目标改为一个不存在的文件名，比如： ``` ln -s /opt/module/hadoop-3.3.4/etc/hadoop/hdfs-site.xml /opt/module/hbase-2.4.17/conf/hdfs-site.xml.link ``` 这样就可以创建一个名为 `hdfs-site.xml.link` 的软链接了。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值