hadoop datanode 磁盘数据平衡

Hadoop DataNode Disk Balance

Hadoop 支持 DataNode 间数据平衡，但是对于单个DataNode内的各磁盘平衡，则需要人工进行数据迁移。

1.确认各数据磁盘可用空间，以确定需要迁移的数据量及迁移路径

df -h

2.停止datanode

cd /opt/hadoop; ./bin/hadoop-daemon.sh stop datanode

3.迁移相关数据，即block文件确定所需要迁移出的数据

ls $source_data_dir/subdir*/subdir* -d

（若没有二级子目录，则迁移一级子目录的数据）

ls /vobiledata/hadoopdata1/data/current/subdir*/subdir* -d

确定目标地址

dst_dir=ls $dst_data_dir/subdir* -d | grep -v `ls $dst_data_dir/subdir*/subdir* -d | awk -F / '{print $6}' | uniq` | sort -R | head -1

for i in `df | grep vobiledata | awk '{print $NF}'`;do ls $i/data/current/subdir* -d | grep -v `ls $i/data/current/subdir*/subdir* -d | awk -F / '{print $(NF-1)}' | uniq` | sort -R | head -2;done

可将这些二级子目录迁移至其他磁盘，注意切不可覆盖目标磁盘的文件

for i in `ls $source_data_dir/subdir*/subdir* -d | head -10`; do mv $i $dst_dir/; done

所要迁移的目录个数，根据迁移情况临时调整

4.开启datanode

cd /opt/hadoop; ./bin/hadoop-daemon.sh stop datanode

5.检查HDFS健康状况

curl hmaster:50070/fsck| less