Hadoop2.7.0学习——动态添加节点

Hadoop2.7.0学习——动态添加节点

前提

已经搭建好了master机器以及一个节点hadoop-node1
现在我们要在此基础上添加一个节点hadoop-node2
http://192.168.20.141:50070/dfshealth.html#tab-datanode

hadoop-node2环境搭建

1.关闭防火墙
关闭master和node1虚拟机的防火墙
打开终端
输入
service iptables stop 临时关闭，重启后失效
chkconfig iptables off 永久关闭
service iptables stauts 查看防火墙状态

2.关闭SELinux
输入
vim /etc/sysconfig/selinux
按i进入编辑模式
设置：SELINUX=disabled
按Esc进入退出编辑，输入:wq!回车，即为保存并退出,或者shift+z+z
3.搭建Java环境
上传rpm文件
java版本：jdk-7u80-linux-x64
执行命令
rpm -ivh jdk-7u80-linux-x64.rpm
java安装在usr下java中
配置/etc/profile，在最后添加

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile
4.配置node2的ip
node2的ip设置为192.168.20.142
5.配置本机名为hadoop-node2
vi /etc/sysconfig/network

source /etc/sysconfig/network
6.配置hosts文件

7.设置免密码登录master以及其他节点
ssh-copy-id 192.168.20.141
ssh-copy-id 192.168.20.142

master上的配置

1. 在host文件上添加node2的ip映射

2. 在hadoop安装目录/etc/hadoop/目录下的slaves文件添加node2的映射

3. 设置免密码登录node2
ssh-copy-id 192.168.20.140
测试
ssh 192.168.20.140

4. 将hadoop拷贝到node2上
scp -r hadoop-2.7.0 root@hadoop-node2:/usr/local/bigdata/soft/

在node2上启动相应程序

1.启动datanode进程
在hadoop安装目录下输入
sbin/hadoop-daemon.sh start datanode
直接刷新web界面，可以看到节点已经在上面了
http://192.168.20.141:50070/dfshealth.html#tab-datanode

2.启动nodemanager进程
在hadoop安装目录下输入
sbin/yarn-daemon.sh start nodemanager
3.均衡block
sbin/start-balancer.sh

查看是否启动

hadoop的管理页面
http://192.168.20.141:50070/
yarn的管理页面
http://192.168.20.141:8088/