本文介绍了HDFS的副本摆放策略，包括第一、第二和第三副本的放置规则，以及额外副本的随机分布。文件的副本数在上传时确定，并不会因系统副本系数变化而改变。此外，讨论了HDFS负载均衡的重要性，当数据分布不均时，需要进行数据的负载均衡调整以避免网络带宽消耗和性能瓶颈。文章还提到了数据平衡的原则，并给出了启动和停止HDFS数据平衡的命令。
HDFS副本摆放策略
第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上；
第二副本：放置在于第一个副本不同的机架的节点上；
第三副本：与第二个副本相同机架的不同节点上；
如果还有更多的副本：随机放在节点中；
需要注意的是：
HDFS中存储的文件的副本数由上传文件时设置的副本数决定。无论以后怎么更改系统副本系数，这个文件的副本数都不会改变；
在上传文件时优先使用启动命令中指定的副本数，如果启动命令中没有指定则使用hdfs-site.xml中dfs.replication设置的默认值；
HDFS负载均衡
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，例如：当集群内新增、删除节点，或者某个节点机器内硬盘存储达到饱和值。当数据不平衡时，</
最低0.47元/天 解锁文章
1333
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
