随着Hadoop集群规模扩大，调整HDFS副本数量成为常见需求。可以通过设置`dfs.replication`参数改变副本数，影响新写入数据。已存在文件的副本数可通过`hdfs dfs -setrep`命令手动调整，该操作可能需要一段时间才能完成，且可通过`hdfs fsck`检查副本状态。此外，上传文件时也可指定副本数量。
随着hadoop集群数据量增大，以及机器的不断扩容，修改副本数量几乎是经常要做的事情了
1.配置dfs.replication
dfs.replication是client参数，修改后只有新加入的数据才会采用这个副本数量，这个就相当于一个通用的参数hdfs-site.xml
dfs.replication
2
2.查看副本数量#hdfs fsck /user
....Status: HEALTHY
Total size:443004172861 B (Total open files size: 760229081 B)
Total dirs:19362
Total files:133928
Total symlinks:0 (Files currently being written: 7)
Total blocks (validated):132492 (avg. block size 3343629 B) (Total open file blocks (not validated): 11)
Minimally replicated blocks:132492 (100.0 %)
Over-replicated blocks:0 (0.0 %)
Under-replicated blocks:79262 (59.82399 %)
Mis-replicated blocks:0 (0.0 %)
Default replication factor:1
Average block replication:1.4017601
Corrupt blocks:0
Missing replicas:79262 (29.911995 %)
Number of data-nodes:5
最低0.47元/天 解锁文章
5272
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
