动态增加Hadoop节点

1.修改主机名

vim /etc/sysconfig/network

2.安装java

• yum -y install java-1.7.0-openjdk*
• 查看安装的java rpm -qa | grep java
• 卸载 yum -y remove java java-1.7.0-openjdk*

3.关闭防火墙

service iptables stop

4.在每个node上增加所有主机的IP映射

vim /etc/hosts

5.Master节点免密码登录新节点

• 生成公钥ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  
• 将公钥追加到认证文件
  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  
• 将公钥拷贝至其他主机
  scp ~/.ssh/id_dsa.pub root@node1:/opt/
  
• 将其他主机的公钥追加至authorized_keys并查看验证
  cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys
vim authorized_keys
  
• 重启后便可以免密码登录
  reboot

Hadoop配置

vim hdfs-site.xml

secondarynamenode vim masters

DataNodes vim slaves

将配置好的Hadoop拷贝至其他节点

• 打包
  tar -zcvf ./hadoop-2.7.2.tar.gz hadoop-2.7.2/
• 在新节点创建soft目录
  mkdir soft
• 拷贝
  scp hadoop-2.7.2.tar.gz root@node3:/root/soft/

配置Hadoop环境变量

vim /etc/profile

在新节点启动DataNode

hadoop-daemon.sh start datanode

yarn-daemon.sh start nodemanager

负载均衡

start-balancer.sh

参考

https://blog.csdn.net/Mark_LQ/article/details/53393081