hadoop-1.2.1添加节点的方法

本帖介绍如何在已存在的集群环境增加节点，增加节点的大部分步骤都和安装步骤一样，在看本教程时需要结合hadoop-1.2.1安装方法详解一起进行，否则不易弄明白，hadoop-1.2.1集群安装方法参考 hadoop-1.2.1安装方法详解

添加节点的步骤如下:
1、安装VMware软件，然后在VMware里安装三台Linux虚拟机(我使用的是redhat)

2、设置虚拟机

主机名	ip	内存	硬盘
slave3	192.168.10.203	500M	8G

3、关闭防火墙(slave3节点)(学习时可以直接关闭，正式环境是通过开放端口)
service iptables stop  停止防火墙服务，重启电脑后仍然会开启
chkconfig iptables off  关闭防火墙服务开机启动，重启后生效
可以两个命令结合使用避免重启

4、关闭SELINUX(slave3节点)
修改/etc/selinux/config 中的SELINUX="" 为 disabled 

5、修改hosts文件(四台主机)
在hosts文件中添加或修改一下内容
192.168.10.200 master
192.168.10.201 slave1
192.168.10.202 slave2
192.168.10.203 slave3

根据 hadoop-1.2.1安装方法详解 里的方式，我这里仍旧按下面的方式添加修改
192.168.10.200 mdw master
192.168.10.201 sdw1 slave1
192.168.10.202 sdw2 slave2
192.168.10.203 sdw3 slave3

6、安装java环境(slave3节点)
上传jdk文件并授权之后，执行安装配置
[root@sdw3 temp]# . /jdk-6u45-linux-i586-rpm.bin

验证jdk安装
[root@sdw3 temp]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06）
Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)

7、创建hadoop用户，并设置密码(slave3节点)
[root@sdw3 temp]# useradd hadoop
[root@sdw3 temp]# passwd hadoop

8、设置无密码登录，方法参考  hadoop-1.2.1安装方法详解  中的步骤6，设置好之后4台主机间便可以互相无密码登录

9、修改master节点的slaves配置文件，增加slave3，并将slaves发送到slave1和slave2节点
修改/home/hadoop/hadoop-1.2.1/conf/slaves文件，内容改为：
slave1
slave2

slave3
发送到slave1节点和slave2节点
[hadoop@mdw ~]$  scp hadoop-1.2.1/conf/slaves slave1:~/hadoop-1.2.1/conf/
[hadoop@mdw ~]$  scp hadoop-1.2.1/conf/slaves slave2:~/hadoop-1.2.1/conf/

注：这里可以不用发送而直接在slave1和slave2上修改

10、将在Master节点上配置好的hadoop目录复制到slave3
[hadoop@mdw ~]$  scp hadoop-1.2.1/ slave3:~

11、配置环境变量
将master节点的 .bashrc文件发送到slave3节点,并使之生效

12、创建/data/hadoop目录，并且将所属用户改为hadoop(slave3节点)

13、启动datanode和tasktracker进程(slave3节点)
[hadoop@sdw3 ~]$  hadoop-daemon.sh start datanode
starting datanode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-sdw3.out

[hadoop@sdw3 ~]$  hadoop-daemon.sh  start tasktracker
starting tasktracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-sdw3.out
[hadoop@sdw3 ~]$  jps
5230 DataNode
5433 Jps
5348 TaskTracker


通过jps命令可以看到datanode进程和tasktracker进程已成功启动

14、在master节点上运行start-balancer.sh进行数据负载均衡
[hadoop@mdw ~]$  start-balancer.sh 
starting balancer, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-balancer-mdw.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
The cluster is balanced. Exiting...


到此slave3节点已成功添加到hadoop集群之中