4 服役新数据节点
如何在原有集群基础上动态添加新的数据节点?
以下操作使用dev1
进行操作
1 虚拟机准备
(1)关闭hadoop104,在hadoop104主机上再克隆一台hadoop105主机
(2)修改IP地址和主机名称,地址映射
sudo find /etc/ -name 70*
sudo vim /etc/udev/rules.d/70-persistent-net.rules
sudo find /etc/ -name *eth0
sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
sudo find /etc/ -name network
sudo vim /etc/sysconfig/network
sudo find /etc/ -name hosts
sudo vim /etc/hosts
(3)删除原来HDFS文件系统留存的文件(/opt/module/hadoop-2.7.2/data和log)
rm -rf /opt/module/hadoop-2.7.2/data/
rm -rf /opt/module/hadoop-2.7.2/logs/
2 测试虚拟机
hostname
ping hadoop105
ll /opt/module/hadoop-2.7.2
3 同步hosts文件
启动hadoop104
hadoop-daemon.sh start datanode
在hadoop105使用 scp 同步到hadoop102,hadoop103,hadoop104
scp /etc/hosts root@hadoop102:/etc/
scp /etc/hosts root@hadoop103:/etc/
scp /etc/hosts root@hadoop104:/etc/
4 同步ssh
(6)在hadoop102,hadoop103,hadoop104 分别执行
ssh-copy-id hadoop105
在hadoop105上执行
# 生成秘钥对
ssh-keygen -t rsa
# 发送公钥
ssh-copy-id hadoop105
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
5 启动datanode
(1)直接启动DataNode,即可关联到集群(hadoop104,hadoop105都使用)
hadoop-daemon.sh start datanode
(2)在hadoop105
上传文件
hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /
6 集群不均衡
什么叫集群不均衡?
机器与机器之间磁盘利用率不平衡,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候,将引发很多问题
如果数据不均衡,可以用命令实现集群的再平衡
在hadoop102
start-balancer.sh