Jack_Roy的博客

HDFS路径信息获取程序前言shell源码执行语句生成结果说明前言集群布置上线以后，随着数据的涌入，hdfs的磁盘容量所剩不多，在最近一次发生的节点宕机后，hdfs进行故障恢复更是直接将磁盘均写满至90%以上；超过资源阈值以后，该节点在yarn上不对外提供服务，整个集群的计算资源被锁死，调度全部暂停。面对这样的情形，最简单粗暴的方法当然是删除数据，腾出disk空间，使得disk占用处于阈值以...

HDFS路径信息获取程序前言shell源码执行语句执行结果说明前言集群增加新节点后，hdfs 节点和disk之间的数据分配十分不均匀，需要进行均衡操作，这里写了一个简单的balance操作脚本shell源码#!/bin/bash# 904857600 动态分配balance操作的带宽# 可执行ethtool bond0命令查看自己的带宽# 其中bond0是网卡sudo -u hd...