使用shell脚本自动检查hdfs集群各数据节点的磁盘空间使用率[附代码]

最新推荐文章于 2022-06-15 14:20:59 发布
最新推荐文章于 2022-06-15 14:20:59 发布
阅读量3k 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： 数据负载均衡 大数据运维 HDFS shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31598113/article/details/78403278
版权
本文介绍了如何使用shell脚本自动检测HDFS集群中各数据节点的磁盘空间使用率。当节点间负载差异达到预设阈值（如10%）时，脚本将触发数据负载均衡操作。主要包括auto_inspecting_usage.sh、max_avg_diff.py、avg_min_diff.py和rebalancer.sh四个脚本，用于检测使用率差异并执行数据迁移。
摘要由CSDN通过智能技术生成

    在我上一篇文章《HDFS执行负载均衡时的threads quota is exceeded;浅谈HDFS的balancer》是讲了为何要进行各个data node之间的数据迁移以实现负载均衡，也讲了如何执行负载均衡，并附了一个半自动脚本。

    这一篇文章主要是用脚本实现自动检测各个data node之间的数据负载情况，若发现各个数据节点的负载差异达到了我们预先设定的临界值（例如10%），就执行rebalancer.  以下是自动检测脚本的使用介绍。


【自动检测脚本的功能】
HDFS各数据节点DFS使用率自动检测，
若检测到各个节点与平均DFS使用率相差超过10%，

最低0.47元/天 解锁文章
宝罗Paul
关注
专栏目录
CDH远程监控所有HDFS节点磁盘空间和自动清除日志
大模型大数据攻城狮的专栏
06-13 539
为了在Java程序中使用SSH协议，我们选择了JSch库。JSch是一个纯Java实现的SSH2客户端库，它可以用于连接到SSH服务器，执行命令，传输文件，端口转发和X11 forwarding等。它的使用简单，功能强大，广泛应用于SSH操作的场景。
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3341
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
shell 计算磁盘使用率
zkkdcs1的博客
05-30 3162
shell bc命令选项scale：可以设置计算结果的小数位数；但是scale只对除法、取余、乘幂有效，对乘法就无效。 #!/bin/bash #下面注释部分为各个分区的使用率，不是磁盘的使用率 #df -h|sed '1d;/ /!N;s/\n//;s/ \+/ /;' |awk '{print $5}' > /root/1.dat #sed -i 's/%//g' /root/1.dat...
查看hdfs各目录分别占用多少空间
weixin_30758821的博客
08-09 627
之前在网上搜索到的全部单位好像都是byte的，看起来很麻烦，然后自己看了下 hadoop fs -help [hadoop@slave3 java]$ hadoop fs -help Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-i...
编写shell脚本批量查看hdfs目录的文件夹个数，文件个数，文件总大小
那又怎样？的博客
01-14 4940
转载来自bug： （1）脚本如下：cat count.sh files=`cat files` for file in ${files}; do hdfs dfs -count -q ${file} | awk '{for(i=5;i&lt;=NF;i++) printf $i"，";printf "\n"}' &gt;&gt; conut.log done （2）当前目录下创建fi...
shell脚本--LVS节点健康检查
you_ranxi的博客
10-09 295
#!/bin/bash VIP=202.106.195.1 PORT=80 RIP=(192.168.100.10 192.168.100.20) while true do for ((i=0;i<echo ${#RIP[*]};i++)) do code=curl -I -m 10 -o /dev/null -s -w %{http_code} http://${RIP[$i]} if ...
hadoop 查看hdfs文件夹用了多少G
QAQ_666666的博客
06-15 1121
记录一下工作中使用的查看hadoop hdfs的目录大小命令
给我写一个自动测试hdfs功能的自动化测试脚本
最新发布
09-21
2.编写脚本：使用脚本编程语言（如Python或Shell）编写脚本文件，以实现对HDFS功能的自动化测试。脚本中需要包含以下功能： - 创建测试目录和文件：通过HDFS命令或API，创建测试需要的目录结构和文件。 - 上传文件...
Hadoop数据节点磁盘管理与IO性能优化
Hadoop数据节点磁盘管理概述 ## 1.1 Hadoop数据节点磁盘管理的重要性 Hadoop集群中的数据节点负责存储和管理数据，对于大规模数据存储和处理的环境来说，Hadoop数据节点的磁盘管理显得尤为重要。良好的磁盘管理...
shell 脚本统计文件梳理及获取磁盘占有率
段智华的博客
07-26 1673
1.用shell脚本get_file_stat.sh统计bin目录下的目录数量 可执行文件数量,文本文件数量 #!/bin/bash cd /bin DIR=`ls -l |grep "^d" | wc -l` EXEFILE=`find /bin -perm +111| wc -l` TXT_FILE=`find  /bin  -name   "*.txt"| wc -l` echo
命令查询hdfs目录下文件总和
海鸥~
06-18 7112
一、可以计算出ccc文件下有多少个文件夹 hadoop fs -ls /aaa/bbb/ccc/* |grep "^d"|wc -l 二、可以统计出HDFS文件数量大小 hadoop fs -count / 三、可以统计出HDFS文件大小 hadoop fs -du -h / 1.7G 是一台服务器所占用磁盘 5.2G 是因为用三台服务器做的落盘 所以1.7*3 /aaa/bbb/ccc 是hdfs地址 ...
Shell遍历HDFS路径统计层级目录大小
857技术社区
08-27 958
#!/bin/bash # 获取工作目录路径 $(dirname $0)，意为取得当前执行的脚本文件的父目录 workdir=$(cd $(dirname $0); pwd) date=`date +%Y-%m-%d-%H:%M:%S` init(){ # 先删除，以便获取最新生成结果 rm -rf $workdir/hdfs_detail.txt touch $workdir/hdfs_detail.txt chmod 777 $workdir/hdfs_deta.
Hadoop Yarn的磁盘检测
12-30 336
背景： 最近在公司的测试服务器上做性能测试， Spark Streaming Job，总是运行一段时间之后就挂掉了。看日志似乎是HDFS出现了问题，数据写不进去了。 但是看了看每台服务器的硬盘，明明都还有空间，最少的都有80%。不管三七二十一，先清一清数据， 把程序启动起来继续跑，并配置了crontab，定时清理磁盘上的日志和临时文件。 当时的预感是YARN上有某种磁盘保护措施，当...
hadoop查看文件夹大小java,hadoop fs:du统计hdfs文件（目录下文件）大小的用法
weixin_36213943的博客
03-13 1393
hadoop fs 更多用法，请参考官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html以下是我的使用hadoop fs -du统计文件时使用的记录：[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui// :: INF...
查看hdfs总容量和使用情况
rourou8的博客
12-28 5964
hdfs dfsadmin -report
使用shell脚本查看HADOOP集群节点状态
weixin_44328257的博客
06-14 2355
都知道hadoop查看节点状态使用的是jps命令，但是在shell脚本中，直接使用会提示：’bash: jps: 未找到命令‘，原因很简单：因为jps命令是位于jdk的bin目录下（hadoop基于java），执行shell脚本的时候,并不会读取/etc/profile文件，因此才会找不到。解决的办法有两种。在脚本里直接添加： /opt/jdk1.8.0_291/bin/jps 第二种： 执行shell脚本的时候,并不会读取/etc/profile文件，但是会读取/home/.bashrc这个文件,需
通过命令来查看NameNode的状态（是Active还是Standby）
热门推荐
快乐的风男
08-12 2万+
hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。  这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File Syst...
大数据量生成脚本及导入策略
oh_Maxy的专栏
09-17 3983
性能测试过程中，如果需要构造一张表大数据量基础数据时，有两点需要注意：如何生成unl文件（此文件是后缀为.unl的数据文件，格式为，按表列分割的数据记录，例如：10001|33333|），生成的unl文件是否可以一次性导入到数据库相应表中。 为了方便叙述，假设数据库存在表test(id integer,name integer,primary key(id,name))。若想为此表导入100
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值