使用shell脚本自动检查hdfs集群各数据节点的磁盘空间使用率[附代码]

最新推荐文章于 2024-03-25 15:19:31 发布
原创 最新推荐文章于 2024-03-25 15:19:31 发布 · 3.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据负载均衡 #大数据运维 #HDFS #shell

本文介绍了如何使用shell脚本自动检测HDFS集群中各数据节点的磁盘空间使用率。当节点间负载差异达到预设阈值（如10%）时，脚本将触发数据负载均衡操作。主要包括auto_inspecting_usage.sh、max_avg_diff.py、avg_min_diff.py和rebalancer.sh四个脚本，用于检测使用率差异并执行数据迁移。

    在我上一篇文章《HDFS执行负载均衡时的threads quota is exceeded;浅谈HDFS的balancer》是讲了为何要进行各个data node之间的数据迁移以实现负载均衡，也讲了如何执行负载均衡，并附了一个半自动脚本。

    这一篇文章主要是用脚本实现自动检测各个data node之间的数据负载情况，若发现各个数据节点的负载差异达到了我们预先设定的临界值（例如10%），就执行rebalancer.  以下是自动检测脚本的使用介绍。


【自动检测脚本的功能】
HDFS各数据节点DFS使用率自动检测，
若检测到各个节点与平均DFS使用率相差超过10%，
则手动运

最低0.47元/天 解锁文章
CDH远程监控所有HDFS节点磁盘空间和自动清除日志
大模型大数据攻城狮的专栏
06-13 770
为了在Java程序中使用SSH协议，我们选择了JSch库。JSch是一个纯Java实现的SSH2客户端库，它可以用于连接到SSH服务器，执行命令，传输文件，端口转发和X11 forwarding等。它的使用简单，功能强大，广泛应用于SSH操作的场景。
优化大数据 HDFS 集群的资源利用率
最新发布
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
08-25 985
本文将聚焦 HDFS 集群的资源利用率优化，从“诊断问题”到“落地解决方案”，提供一套完整的实战指南。我们会从 HDFS 的存储、计算协同、配置参数、数据生命周期管理等维度，拆解资源浪费的根本原因，并给出可落地的优化策略。无论你是初涉 HDFS 的运维新人，还是希望提升集群效率的资深工程师，都能在本文找到实用的方法。Ranger 是 Hadoop 生态的权限管理工具，也支持数据生命周期策略（需 Ranger 2.0+）。步骤 1：定义生命周期策略路径（日志数据目录）；条件。
查看hdfs各目录分别占用多少空间
weixin_30758821的博客
08-09 701
之前在网上搜索到的全部单位好像都是byte的，看起来很麻烦，然后自己看了下 hadoop fs -help [hadoop@slave3 java]$ hadoop fs -help Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-i...
编写shell脚本批量查看hdfs目录的文件夹个数，文件个数，文件总大小
那又怎样？的博客
01-14 5059
转载来自bug： （1）脚本如下：cat count.sh files=`cat files` for file in ${files}; do hdfs dfs -count -q ${file} | awk '{for(i=5;i&lt;=NF;i++) printf $i"，";printf "\n"}' &gt;&gt; conut.log done （2）当前目录下创建fi...
shell 计算磁盘使用率
zkkdcs1的博客
05-30 3313
shell bc命令选项scale：可以设置计算结果的小数位数；但是scale只对除法、取余、乘幂有效，对乘法就无效。 #!/bin/bash #下面注释部分为各个分区的使用率，不是磁盘的使用率 #df -h|sed '1d;/ /!N;s/\n//;s/ \+/ /;' |awk '{print $5}' > /root/1.dat #sed -i 's/%//g' /root/1.dat...
shell脚本--LVS节点健康检查
you_ranxi的博客
10-09 353
#!/bin/bash VIP=202.106.195.1 PORT=80 RIP=(192.168.100.10 192.168.100.20) while true do for ((i=0;i<echo ${#RIP[*]};i++)) do code=curl -I -m 10 -o /dev/null -s -w %{http_code} http://${RIP[$i]} if ...
hadoop 查看hdfs文件夹用了多少G
QAQ_666666的博客
06-15 1315
记录一下工作中使用的查看hadoop hdfs的目录大小命令
Hadoop大数据-HDFS的Shell操作
晴风拂面，消融严寒
03-25 1618
上一节，讲解了HDFS的原理，以及相关的hadoop系统安装文档，参考文档可以轻松的搭建好，Hadoop伪分布式集群环境，这一节主要讲解一下如何操作HDFS，及HDFS文件的存储方式。本章对HDFS的常见操作方法做了简单介绍，掌握需要结合实际操作过程，实验操作手册请在下载专区下载。
HDFS存储优化宝典：平衡磁盘使用与数据冗余的黄金法则
[HDFS存储优化宝典：平衡磁盘使用与数据冗余的黄金法则](https://yqfile.alicdn.com/e6c1d18a2dba33a7dc5dd2f0e3ae314a251ecbc7.png?x-oss-process=image/resize,s_500,m_lfit) # 摘要 随着大数据时代的到来，HDFS...
shell 脚本统计文件梳理及获取磁盘占有率
大模型与Agent智能体
07-26 1821
1.用shell脚本get_file_stat.sh统计bin目录下的目录数量 可执行文件数量,文本文件数量 #!/bin/bash cd /bin DIR=`ls -l |grep "^d" | wc -l` EXEFILE=`find /bin -perm +111| wc -l` TXT_FILE=`find  /bin  -name   "*.txt"| wc -l` echo
命令查询hdfs目录下文件总和
海鸥~
06-18 7430
一、可以计算出ccc文件下有多少个文件夹 hadoop fs -ls /aaa/bbb/ccc/* |grep "^d"|wc -l 二、可以统计出HDFS文件数量大小 hadoop fs -count / 三、可以统计出HDFS文件大小 hadoop fs -du -h / 1.7G 是一台服务器所占用磁盘 5.2G 是因为用三台服务器做的落盘 所以1.7*3 /aaa/bbb/ccc 是hdfs地址 ...
Shell遍历HDFS路径统计层级目录大小
857技术社区
08-27 1069
#!/bin/bash # 获取工作目录路径 $(dirname $0)，意为取得当前执行的脚本文件的父目录 workdir=$(cd $(dirname $0); pwd) date=`date +%Y-%m-%d-%H:%M:%S` init(){ # 先删除，以便获取最新生成结果 rm -rf $workdir/hdfs_detail.txt touch $workdir/hdfs_detail.txt chmod 777 $workdir/hdfs_deta.
Hadoop Yarn的磁盘检测
12-30 393
背景： 最近在公司的测试服务器上做性能测试， Spark Streaming Job，总是运行一段时间之后就挂掉了。看日志似乎是HDFS出现了问题，数据写不进去了。 但是看了看每台服务器的硬盘，明明都还有空间，最少的都有80%。不管三七二十一，先清一清数据， 把程序启动起来继续跑，并配置了crontab，定时清理磁盘上的日志和临时文件。 当时的预感是YARN上有某种磁盘保护措施，当...
hadoop查看文件夹大小java,hadoop fs:du统计hdfs文件（目录下文件）大小的用法
weixin_36213943的博客
03-13 1485
hadoop fs 更多用法，请参考官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html以下是我的使用hadoop fs -du统计文件时使用的记录：[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui// :: INF...
笔记：hadoop的shell命令
qq_44871767的博客
05-30 255
-ls 使用方法：hadoop fs -ls [-h] [-R] 功能：显示文件、目录信息。 示例：hadoop fs -ls /user/hadoop/file1 -mkdir 使用方法：hadoop fs -mkdir [-p] 功能：在hdfs上创建目录，-p表示会创建路径中的各级父目录。 示例：hadoop fs -mkdir –p /user/hadoop/dir1 -put 使用方法：hadoop fs -put [-f] [-p] [ -| … ]. 功能：将单个src或多个srcs..
HDFS查看文件大小以及统计 总和
热门推荐
感谢你的关注~~~~ღ( ´･ᴗ･` )
05-19 1万+
查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/ 查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/ 查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..
大数据集群常用脚本
qq_43192537的博客
10-28 1029
大数据集群常用脚本
大数据集群巡检
.
05-31 1715
公司使用的大数据集群是Cloudera，定期巡检，还是查出不少问题，后面进行优化。 Hadoop集群日常维护-总结 发现主要的几个问题如下， 1. HDFS 小文件过多 小文件问题是目前HDFS上存在的最大问题。可以使用hadoop fs -count命令，简单统计下文件数量较多的目录。 小文件很多是临时文件，建议定期清理。并检查业务逻辑，主要是什么导致的小文件过多，看能否通过修改处理逻辑来避免。 2. DNS域名解析不全 很多新加的边缘节点，没有配置全部的host，导致集群内部解析不全。虽不影响程
使用shell脚本查看HADOOP集群节点状态
weixin_44328257的博客
06-14 2558
都知道hadoop查看节点状态使用的是jps命令，但是在shell脚本中，直接使用会提示：’bash: jps: 未找到命令‘，原因很简单：因为jps命令是位于jdk的bin目录下（hadoop基于java），执行shell脚本的时候,并不会读取/etc/profile文件，因此才会找不到。解决的办法有两种。在脚本里直接添加： /opt/jdk1.8.0_291/bin/jps 第二种： 执行shell脚本的时候,并不会读取/etc/profile文件，但是会读取/home/.bashrc这个文件,需
给我写一个自动测试hdfs功能的自动化测试脚本
09-21
对不起，我不会写脚本，但是我可以提供一些指导。 你可以使用Apache Hadoop提供的HDFS Java API来写一个自动化测试脚本。这样可以方便地对HDFS进行功能测试，例如创建文件、写入数据、读取数据、删除文件等。 具体来说，你可以使用Java代码，使用HDFS Java API实现对HDFS的操作，再使用JUnit来编写测试用例。这样，你可以快速方便地测试HDFS的各项功能，并且能够方便地获得测试结果。 如果你不熟悉Java，你也可以使用其他语言，例如Python，使用HDFS的WebHDFS API进行测试。 希望对你有所帮助！
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值