升降HDFS副本数量

1 检查副本数量

例如检查hive中cs表的副本数量

hdfs fsck /user/hive/warehouse/cs

由上图可以看到副本数量为3

2 降副本数量

由于是目录，所以使用-R参数，可以递归。

hdfs dfs -setrep -R -w 2 /user/hive/warehouse/cs

hdfs fsck /user/hive/warehouse/cs

从上图可以看出副本数量已经降低为2

3 升副本数量

升副本数量是同样的操作

hdfs dfs -setrep -R -w 3 /user/hive/warehouse/cs

hdfs fsck /user/hive/warehouse/cs

从上图可以看出副本数量已经提升为3

4 检查数据是否错误

使用hive查询可以判断这张表经过操作是否可用

select count(*) from cs;
select * from cs limit 5;

5 总结

通过升降副本数量可以起到平衡集群数据的作用，适用于HDFS配置为“可用空间法”的数据再平衡。