CDH集群日志数据清理--val/lib

最新推荐文章于 2022-01-11 14:37:21 发布
最新推荐文章于 2022-01-11 14:37:21 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42411818/article/details/104154954
版权 
rm /var/lib/cloudera-host-monitor/ts/*/partition*/* -rf
rm /var/lib/cloudera-service-monitor/ts/*/partition*/* -rf

参考:https://www.cnblogs.com/qinglanmei/p/11455010.html
我主要清理cloudera-host-monitor和cloudera-service-monitor目录的数据,因为我的其他占空间的组件日志的目录都是迁移了的,你们酌情清理即可

没有合适的昵称
关注
专栏目录
CDH清理磁盘空间完全攻略和完整实现自动化脚本（大数据清除日志）
大模型大数据攻城狮的专栏
08-01 330
在CDH集群中，自动清除日志的意义非常重大。尤其是在内网环境下，运维人员无法随时登录服务器进行操作，或者是因为放长假等原因不能每天进行运维工作。这时，如果日志不自动清理，就会面临日志空间满了的问题，这可能造成CDH各组件无法正常工作，离线数仓计算完全停止。考虑到运维人员不能时时刻刻地在现场进行操作的实际情况，自动清除日志显得尤为重要。比如，当运维人员因为放长假或其他原因暂时无法处理系统日志时，如果系统能够自动清理过期或不必要的日志，就能有效减少系统故障的风险。自动清除日志还能有效节省存储空间和维护成本。
CDH集群日志清理
延宝小白马的博客
09-27 1527
1.2 还有一个是 Cloudera Management Service服务产生的日志，存在/var/lib/...1.1 cdh的各组件的日志一般在/var/log目录下(最好前面加上/data)，因此主要关注“/”查看/data/var/log下使用空间较大的文件夹，并由大到小排列。1.1 清理cm、cdh组件的日志数据。1.3 清理hdfs回收站数据。1.2 清理监控服务的数据。
记一次CDH集群日志数据清理
weixin_30675247的博客
09-03 1572
背景 集群运行一段时间（大概一月多）后，cloudera manager管理界面出现爆红，爆红的组件有hdfs、zookeeper。 发现问题 点击详细内容查看，报日志空间不够的错误。初步判断是各个组件的日志数据把空间占满了。 查看各个目录下磁盘占用情况 df -h cdh的各组件的日志一般在/var/log目录下，因此主要关注“/” 查看/var/log下使用空间...
CDH日志清理
只是甲的博客
03-15 2489
备注: CDH 版本: 6.3.1 背景 CDH集群运行了2个多月了，根目录磁盘使用率接近80%了，需要清理CDH日志。 一.查看问题 CDH的日志文件一般在如下几个目录，可以通过如下代码进行查看。 代码: cd /var/log/ du -s ./* | sort -nr cd /var/lib/cloudera-service-monitor du -s ./* | sort -nr cd /var/lib/cloudera-host-monitor du -s ./* | sort -nr 测试
记一次CDH集群节点日志文件清理
萌兔兔MMQ！！
03-26 863
集群运行一段时间（大概一月多）后，cloudera manager管理界面出现爆红，爆红的组件有hdfs、zookeeper，后续出现集群卡顿宕死。 发现问题 点击详细内容查看，报日志空间不够的错误。初步判断是各个组件的日志数据把空间占满了。因系统设置日志存储盘符50G。 查看各个目录下磁盘占用情况 df -h cdh的各组件的日志一般在/var/log目录下，因此主要关注“/” 查看/var/log下使用空间较大的文件夹，并由大到小排列 cd /var/log/ du -s ./* | sort -nr
cm hue 无法连接mysql_解决Cloudera-Manager搭建CDH集群时hue数据库连接失败问题(二)
weixin_39761422的博客
02-03 326
[21/Feb/2019 15:21:36 +0000] settings DEBUG DESKTOP_DB_TEST_NAME SET: /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hue/desktop/desktop-test.db[21/Feb/2019 15:21:36 +0000] settings D...
【伊利丹】Hadoop-2.5.0-CDH5.2.0/Hive与Hbase整合实验
FBI启示录
06-17 4424
Hadoop Hive与Hbase整合 用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库  本次试验目的讲述如何让Hbase和Hive能互相访问，让Hadoop/Hbase/Hive协同工作，合为一体。
hadoop-3.1.0双NameNode集群安装笔记-colby陈伦
colby_chenlun的博客
08-28 318
1、修改主机名称 vim /etc/hosts 重启 2、修改该hosts文件，添加主机跟ip的映射关系 虚拟机网络host-only 这个必须注释掉 #127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #::1 localhost localhost.localdoma...
CDHhadoop数据操作使用
qq_35094452的博客
05-08 1467
1.词频量统计，基于cdh hadoop 自带的demo 运行指令如下： wordcount----hadoop  jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount  输入路径：/user/root/input 输出路径 /user/root/output 命令：/opt/cloudera/parcels/CDH/...
大数据项目之_15_电信客服分析平台_01&02_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)
黑泽君
03-18 3477
大数据项目之_15_电信客服分析平台_01&02_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)
CDH集群日志垃圾清理记录
刘李404not_found的博客
09-06 716
文章目录CDHHDFSHiveHueimpalaKuduYarnZooKeeper其他 CDH Activity Monitor、Service Monitor、Host Monitor for i in `ls /var/log/cloudera-scm-firehose/*.log.out`;do cat /dev/null > $i;done Alert Publisher for i in `ls /var/log/cloudera-scm-alertpublisher/*.log.
CDH监控日志切换目录
Is_7tBigs的博客
04-16 1154
今天集群告警，master节点根目录空间不足了 [root@master01~]#du-sh/home/app_rg/loaddata/ 31G /home/app_rg/loaddata/ [root@master01~]#du-sh/var/lib/*|grepG 41G /var/lib/cloudera-host-monitor 7.8G /var/lib/cloudera-scm-eventserver 20G /var/lib/cloudera-scm-he...
Error creating LevelDB timeseries store in directory /var/lib/cloudera-service-monitor/ts
qq_33286695的博客
06-27 2144
错误描述：重启CLoudera Manager集群的Cloudera Management Service报如下错误！！！ 错误问题： 上午10点14:04.184分 ERROR Main Error creating LevelDB timeseries store in directory /var/lib/cloudera-service-monitor/ts java.io.IOEx...
CDH5.14定期清理指南
北京小辉
01-03 1万+
目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1）将默认的备份数3设置为2。 步鄹：CDH–>HDFS–>配置–>复制因子–>设置为2 2）执行命令:
关于CM日志问题【已解决】
福贵儿的博客
11-11 2361
1.问题描述 最近，遇到的问题，就是CM的这台服务器，频繁的报警，内存不足， 经过一番奋战，使用df -h 和 du -sh * 两条命令，找到了问题的出处并得到了解决，额，应该是缓解吧。 2.解决方案 a. 到CM的服务器上，使用下面的命令，将日志删除，如下 # /bin/rm /var/lib/cloudera-host-monitor/ts/*/partitio...
CDH集群配置目录汇总
Tate的博客
11-02 6304
CDH集群配置目录汇总1、CDH目录汇总2、CM详解2.1 Service Monitor：2.2 Host Monitor：2.3 server/agent配置目录2.4 server/agent日志目录2.5 Parcels包安装目录2.5.1 服务软件包数据(parcels)2.5.2 服务软件包缓存数据2.6 CDH配置数据库连接信息脚本目录3、CDH安装路径4、CDH组件详解4.1 组件安装目录4.2 组件配置路径4.3 组件shell客户端命令4.4 组件日志目录4.5 服务运行时所有组件的配置
CDH使用秘籍（二）：cloudera Manager中监控数据的存储
热门推荐
11-19 1万+
上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，怎样配置外部表等。这一篇文章进一步分析监控数据的存储，配置，调优等。
配置shell脚本定期清理集群日志和监控数据，并对清理完Cloudera Management Service的监控数据后的问题解决
xiaoshian的博客
01-11 1477
配置shell脚本定期清理集群日志和监控数据，并对清理完Cloudera Management Service的监控数据后的问题解决 清理日志和监控数据的shell脚本 #配置shell自动删除 #!/bin/bash # 清理日志 cd /var/log/hadoop-mapreduce rm -rf *.out.* rm -rf *.log.* cd /var/log/hadoop-hdfs rm -rf *.out.* rm -rf *.log.* cd /var/log/zookeeper rm
which: no hbase in (/home/jdk1.8.0_144/bin:/home/hadoop-2.8.2/sbin:/home/hadoop-2.8.2/bin:/home/apache-hive-2.1.1-bin/bin:/home/sqoop-1.4.5-cdh5.3.6/bin:/home/jdk1.8.0_144/bin:/home/hadoop-2.8.2/sbin:/home/hadoop-2.8.2/bin:/home/apache-hive-2.1.1-bin/bin:/home/jdk1.8.0_144/bin:/home/hadoop-2.8.2/sbin:/home/hadoop-2.8.2/bin:/home/jdk1.8.0_144/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/hadoop-2.8.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Connecting to jdbc:hive2://localhost:10000 23/07/19 10:32:24 [main]: WARN jdbc.HiveConnection: Failed to connect to localhost:10000 Could not open connection to the HS2 server. Please check the server URI and if the URI is correct, then ask the administrator to check the server status. Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000: java.net.ConnectException: Connection refused (Connection refused) (state=08S01,code=0) Beeline version 2.1.1 by Apache Hive
最新发布
07-20
根据您提供的信息，您尝试连接到Hive Server2的端口10000时出现了连接失败的错误。该错误提示表明无法连接到Hive Server2，可能有几个原因： 1. Hive Server2未运行：请确保Hive Server2已经成功启动。您可以使用以下命令检查Hive Server2的状态： ``` sudo systemctl status hive-server2 ``` 如果Hive Server2未运行，请使用以下命令启动它： ``` sudo systemctl start hive-server2 ``` 2. 端口号不正确：请确保您正在使用正确的端口号。默认情况下，Hive Server2使用端口10000进行通信，但在某些情况下，该端口可能被修改。确保您正在使用正确的端口号。 3. 防火墙或网络问题：如果您的系统上启用了防火墙，请确保允许通过端口10000进行连接。或者，您的网络环境可能存在问题，导致无法连接到端口10000。请检查网络配置和防火墙设置，确保可以从您的系统访问到目标主机的端口10000。 请根据实际情况检查上述可能的原因，并尝试解决问题。如果问题仍然存在，请提供更多详细信息，以便我能够更好地帮助您。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值