安装CDH平台的服务器磁盘满了，磁盘清理过程记录

已于 2024-06-06 10:21:52 修改
阅读量392 收藏
点赞数 3
文章标签： hive hadoop 数据仓库 hdfs
于 2024-03-11 13:49:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29020037/article/details/136614120
版权
文章介绍了如何使用HDFS命令检查哪个文件占用磁盘空间，发现Hive的一个临时文件夹因任务异常导致文件过大。作者建议通过`hdfsdfs-rm-r-skipTrash`命令删除这些异常文件以释放磁盘空间。
摘要由CSDN通过智能技术生成

1.使用hdfs命令查看哪个文件占用最大

hdfs dfs -du -h /tmp

2.我的服务器上显示/tmp/hive/hive文件夹下的，一串字符串命名的文件特别大几乎把磁盘占满了

网上查到/tmp文件是临时文件，由于hiveserver2任务运行异常导致缓存未删除，正常情况下是会自动删除的[参考文章]，所以直接命令删除

hdfs dfs -rm -r -skipTrash /tmp/hive/hive/xxxxxxxx(一串字符的文件名)

3.如果不是HDFS的问题，就需要从根目录一级一级的查文件大小

du -sh /*

李小晨同学
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置Cloudera Manager Agent等步骤。 ...
企业级大数据平台CDH详细搭建过程
11-28
【企业级大数据平台CDH详细搭建过程】 CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一款企业级大数据处理平台，它包含了多个开源Apache项目的集成，如Hadoop、Hive、HBase、Spark...
CDH磁盘空间即将满之后的解决措施
枫夜
08-28 4101
版本环境 CDH 5.15.5 8台主机，每台机存储100GB，内存为8GB 问题 CDH页面报错，一些服务挂掉，无法使用。查看主机存储，发现有3-4台机器的存储即将满了。而namenode的存储空间即将满。 解决措施 登录namenode的后台，删除不必要的文件。因为是使用ansible进行批量的部署，所以本机依旧存储之前的安装包，总大小大概为8GB左右。删除该安装包，腾出8GB。 CM管理控...
记一次CDH集群磁盘空间不足问题处理过程
bangqin's blog
05-29 614
CDH集群主节点磁盘空间爆满排查过程
CDH数仓项目(四) —— 集群性能测试/资源管理/清理CDH集群
不以物喜的博客
02-02 1879
CDH数仓项目，进行集群性能测试、资源备份、资源管理、清理CDH集群
CDH集群清理磁盘空间
CSDN_XIAOXIA_的博客
03-24 2303
对于很多CDH使用者来说，随着时间的推移，磁盘空间会越来越少，除了一部分数据占用外，其他的一部分空间不知道保存着什么数据，无法清理，本博主今天就分享一下定期清理CDH集群指南。 1.由于HDFS有回收站，如何设置不合理的话，它会长时间占用集群资源，因此我们首先清理HDFS回收站。 （1）在平时删除HDFS文件时，可以使用命令：hdfs dfs -rm -skipTrash /path/to/file/you/want/to/remove/permanently，这样的话文件就直接删除了，不会放在回收站.
CDH 集群定期清理指南
高矮
09-15 4544
  1、清除hdfs回收站 2 、 清空spark任务执行历史记录 hadoop fs -ls /user/spark/applicationHistory 清掉后再把回收站清理一下 3、cloudera manager清理 装cm的机器：/var/lib 路径下有如下文件： 主要清理cloudera-host-monitor 、cloudera-service-monito...
大数据之CDH数仓(23) | 集群管理之卸载CDH
Knight
10-15 939
停止所有服务 1）停止所有集群服务 2）停止CMservice 停用并移除Parcels 对我们安装的parcels，依次执行停用、仅限停用状态、从主机删除 删除集群 点击要删除的Cluster右侧的下拉箭头，点击删除 卸载Cloudera Manager Server 1）停止Cloudera Manager Server 2）卸载Cloudera Manager Server [root@hadoop102 ~]# yum remove cloudera-manager-server 卸载Cl
CDH安装过程记录.txt
05-16
cdh5.13的安装文档，详细记录了安装的步骤和一下常见问题的解决办法
yum安装CDH5.5 hive、impala的过程详解
09-15
【yum安装CDH5.5 hive、impala的过程详解】 在大数据处理中，Hive和Impala是两个关键组件，它们分别提供了数据仓库和实时分析的功能。本文将详细阐述通过YUM包管理器在CDH5.5环境下安装Hive和Impala的步骤，以及...
CentOS7 简易版离线安装CDH14.docx
04-29
CentOS 7 简易版离线安装 CDH 14 本文档将指导读者在 CentOS 7 环境下离线安装 CDH 14，并对相关知识点进行...CDH 14 安装是指在 CentOS 7 环境下安装 CDH 14 的过程。在本文档中，我们将详细介绍 CDH 14 的安装过程。
CDH日志清理
只是甲的博客
03-15 2440
备注: CDH 版本: 6.3.1 背景 CDH集群运行了2个多月了，根目录磁盘使用率接近80%了，需要清理CDH日志。 一.查看问题 CDH的日志文件一般在如下几个目录，可以通过如下代码进行查看。 代码: cd /var/log/ du -s ./* | sort -nr cd /var/lib/cloudera-service-monitor du -s ./* | sort -nr cd /var/lib/cloudera-host-monitor du -s ./* | sort -nr 测试
【大数据集群搭建-CDH-（3）VMware-Linux磁盘扩容】CDH版本进行大数据集群各组件环境部署-（3）VMware-Linux磁盘扩容
weixin_53543905的博客
02-22 389
【代码】【大数据集群搭建-CDH-（3）VMware-Linux磁盘扩容】CDH版本进行大数据集群各组件环境部署-（3）VMware-Linux磁盘扩容。
CDH5.14定期清理指南
热门推荐
北京小辉
01-03 1万+
目录：1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1）将默认的备份数3设置为2。 步鄹：CDH–>HDFS–>配置–>复制因子–>设置为2 2）执行命令:
CDH集群HDFS磁盘扩容及去除磁盘的问题
没有合适的昵称
11-21 3326
将磁盘挂载到指定的目录下 1.为新磁盘创建分区 fdisk -l 2. 指定磁盘创建分区 fdisk /dev/vdb Command (m for help): n(n表示创建分区) Partition type:(表示磁盘有两种分区类型： “p”表示主分区。 “e”表示扩展分区。) (磁盘使用MBR分区形式，最多可以创建4个主分区，或者3个主分区加1个扩展分区，扩展分区不可以直接使用，需要...
CDH集群日志清理
延宝小白马的博客
09-27 1476
1.2 还有一个是 Cloudera Management Service服务产生的日志，存在/var/lib/...1.1 cdh的各组件的日志一般在/var/log目录下(最好前面加上/data)，因此主要关注“/”查看/data/var/log下使用空间较大的文件夹，并由大到小排列。1.1 清理cm、cdh组件的日志数据。1.3 清理hdfs回收站数据。1.2 清理监控服务的数据。
HDFS某个节点的磁盘满了
SunnyRivers
12-23 4958
前言 昨天还是周末，公司群里就有人@，说集群有问题了，敲完Hive一直卡在哪里进不去，于是我很快登上WebUi，看到了这么一幕： 这台节点的磁盘满了，其他的数据分布都比较平均 为什么会这样 这里就不得不说一下HDFS复本存放策略了： namenode如何选择在哪个datanode存储复本（replica）？这里需要针对可靠性、写入带宽和读取带宽进行权衡。例如，把所有复本都存储在一个节点损失的写...
CDH集群磁盘故障换盘处理
weixin_46175018的博客
09-06 890
为DataNode执行磁盘热交换 实质的操作就是在不关闭datanode的情况下更换HDFS磁盘 警告：要求和限制 　1. CDH 5.4和更高版本支持热插拔。 　2. 热插拔只能添加具有空数据目录的磁盘。 　3. 卸下磁盘不会将数据移出磁盘，这可能会导致数据丢失。 　4. 不要同时在多个主机上执行热交换。 使用Cloudera Manager为DataNode执行磁盘热交换 最低要求角色：群集管理员 　1. 配置数据目录以删除要换出的磁盘： 　　a. 进入HDFS服务。 　　b. 单击实例选项卡。 　　
HDFS磁盘写满问题分析
最新发布
李姓门徒
03-18 1092
探讨hdfs的datanode节点磁盘被写满的原因分析和相关规避方案。[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)
Cloudera大数据平台CDH安装完全指南
"CDH安装手册提供了全面的大数据平台CDH的安装和使用..."CDH安装手册"是学习和实践CDH的宝贵资源，它涵盖了从规划、安装到运维的全过程，对于想要构建和管理大数据平台的IT专业人士来说，是一份不可或缺的参考资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值