hadoop rebalance

zxfBdd

于 2024-01-16 16:36:12 发布

阅读量259

点赞数

分类专栏：大数据文章标签： npm vue.js 前端

原文链接：https://www.jianshu.com/p/741ae7721e1a

版权

大数据专栏收录该内容

608 篇文章 31 订阅

订阅专栏

本文介绍了HDFS数据节点文件均衡分配的两种方式，包括命令行方式（如`hdfsbalancer`）和脚本方式，详细阐述了各自参数、步骤及注意事项，特别提到了使用脚本方式时的缺点和操作建议。

摘要由CSDN通过智能技术生成

hdfs 重新均衡分配文件有两种方式

1. 命令方式

hdfs balancer 参数说明
  [-threshold <threshold>]  #均衡阈值，这次先以20%，均衡后每个datanode在容量相差在20%以内。等待第一次均衡后后面再进行一次10%的均衡，降低集群占用时间
  [-policy <policy>]  # datanode，blockpool 默认datanode，以datanode级别均衡，blockpool文件块均衡（更精准，但更费时），
  [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]  #排出指定机器
  [-include [-f <hosts-file> | <comma-separated list of hosts>]]  #添加指定机器
  [-idleiterations <idleiterations>]   #最大迭代次数

su hdfs -c "hdfs balancer -threshold 20"

缺点:

需等待结束，也可以后台执行

2. 脚本方式

执行步骤

修改参数 , bsm中在hdfs模块配置自定义hdfs-site.xml文件新增属性dfs.datanode.balance.max.concurrent.moves=50
滚动重启datanode
切换用户su hdfs
设置每台datanode的带宽
hdfs dfsadmin -setBalancerBandwidth 73400320
开始平衡 /opt/hadoop/sbin/start-balancer.sh -threshold 40
观察日志，跟上面命令返回的out 文件同一目录