weixin_43837051的博客

hadoop、distcp

关于hadoop集群dfs数据不均衡的处理方式一、业务场景二、架构描述三、进行数据平衡操作1、设置平衡速度为100M/s2、执行平衡命令3、停止数据均衡命令4、平衡完成后结果输出***备注***一、业务场景部署架构为分布式部署架构，现环境出现3个datanode节点数据不均衡的问题。平衡前数据分布情况：**datanode1 866.43 GB数据datanode2 863.56 GB数据datanode3 1423.36 GB数据**二、架构描述hadoop分布式部署，mas

参数解释：status：代表这次hdfs上block检测的结果Total size: 代表/目录下文件总大小Total dirs：代表检测的目录下总共有多少个目录Total files：代表检测的目录下总共有多少文件Total symlinks：代表检测的目录下有多少个符号连接Total blocks(validated)：代表检测的目录下有多少个block块是有效的Minimally replicated blocks：代表拷贝的最小block块数Over-replicated block

Hmaster高可用分布式报错probably a clock skew基本环境在这里插入图片描述问题排查过程格式化 ZKFC#事件起因：本次生产环境事件的起因是由于为了验证当服务器时间晚于当前时间是否会对hadoop集群造成影响。实际操作，将整个集群的服务器时间修改为2050-01-01.基本环境服务器5台hadoop1 10.212.51.10 namenode、resourcemanager、zkfc、hmasterhadoop2 10.212.51.11 namenode、resou