HDFS-服役新服务器及数据存储均衡

HDFS-服役新服务器

Hadoop版本：3.1.3
需求：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

1 环境准备

1. 在 hadoop101 主机上再克隆一台 hadoop104 主机
2. 修改 IP 地址和主机名称和域名映射

# 修改IP地址文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改主机名称
vim /etc/hostname
# 添加域名映射
vim /etc/hosts

3. 删除 hadoop104 上 Hadoop 的历史数据，data 和 log 数据
4. 配置hadoop4到其它服务器免登录操作
5. 补充workers，添加Hadoop04
6. 检查是否有启动白名单，编辑whitelist，分发

2 服役新节点具体步骤

2.1 启动hadoop104 dataNode

hdfs --daemon start datanode

2.2 启动hadoop104 nodeManager

yarn --daemon start nodemanager

2.3 刷新nameNode

hdfs dfsadmin -refreshNodes

2.4 检查DN节点

2.5 Hadoop104上传文件

[develop@hadoop104 ~]$ hadoop fs -put hadoop104.txt /

文件上传，Hadoop104服务器存在副本数据

思考：如果数据不均衡（hadoop105 数据少，其他节点数据多），怎么处理？

3 服务器间数据均衡

由于数据存储最短路径原则，会导致dataNode节点存储数据不均衡，需要手动执行集群均衡命令
注意：由于 HDFS 需要启动单独的 Rebalance Server 来执行 Rebalance 操作，所以尽量不要在 NameNode 上执行 start-balancer.sh，而是找一台比较空闲的机器。

3.1 开启数据均衡命令

[develop@hadoop104 sbin]$ start-balancer.sh -threshold 20

对于参数 20，代表的是集群中各个节点的磁盘空间利用率相差不超过 20%，可根据实际情况进行调整

3.2 停止数据均衡命令

[develop@hadoop104 sbin]$ stop-balancer.sh