参考资料:
https://bbs.huaweicloud.com/forum/thread-73286-1-1.html
处理步骤:
退服时副本是迁移的速度受如下三个配置影响
dfs.namenode.replication.work.multiplier.per.iteration 每次复制的块的个数为dn的个数*该参数
dfs.namenode.replication.max-streams 进行复制任务分配时,单个DN人队伍的最大值
dfs.namenode.replication.max-streams-hard-limit 若DN的复制任务大于该值时,不会将其选为复制的源节点
默认值可以在hadoop官网查到:
https://hadoop.apache.org/docs/r3.1.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
配置项 | 默认值 | 建议值 |
---|---|---|
dfs.namenode.replication.work.multiplier.per.iteration | 2 | 64 |
dfs.namenode.replication.max-streams | 2 | 64 |
dfs.namenode.replication.max-streams-hard-limit | 4 | 128 |
修改后,需要重启NameNode生效。