hadoop部署

集群信息如下：

主机名	Hadoop角色	Hadoop jps命令结果	Hadoop用户	Hadoop安装目录
master	Master slaves	NameNode DataNode JobTracker TaskTracker SecondaryNameNode	创建相同的用户的组名：hadoop。 安装hadoop-0.20.2时使用hadoop用户，并且hadoop的文件夹归属也是hadoop：hadoop	/opt/hadoop
slave1	slaves	DataNode TaskTracker
slave2	slaves	DataNode TaskTracker

　　注：master即使master又是slave.master即使master又是slave.。

步骤

1, 修改机器名，设置固定IP，创建hadopp用户组和用户

2, 修改地址解析文件/etc/hosts (host屏蔽172 只保留master 和节点的IP,可用命令设置禁止重起后修改hosts：chkconfig NetworkManager off ）

3, 安装JDK，hadoop ,设置/etc/bash_profile环境变量

4,修改hadoop配置文件（注意:缺少mapred-site.xml，可复制mapred-site.xml.templace重命名），配置hadoop-env.sh、yarn-env.sh的JAVA_HOME，否则启动时会报error

5,设置SSH无密码接入（注意master也需要配置,和配置600权限）

7, 用scp把master的hadoop目录复制到节点上, scp –r /opt/hadoop hadoop@slave1:/opt/hadoop (提示没有权限可在节点上先创建目录赋予hadoop用户权限, 注意节点和master的目录配置是完全一样的,无需修改IP)

6,主服务器master上执行bin/hdfs namenode -format进行初始化

7,master上启动hadoop .sbin目录下执行 ./start-all.sh 可以使用jps查看信息。停止的话，输入命令，sbin/stop-all.sh

8, http://master_ip:50070   http://master_ip:8088 

9, 节点宕机可在master执行start-all.sh 启动，会忽略已启动的节点 

参考：

http://www.07net01.com/2015/07/874408.html 

http://www.cnblogs.com/liuling/archive/2013/06/16/2013-6-16-01.html

http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html

http://blog.csdn.net/ab198604/article/details/8250461

http://www.aboutyun.com/thread-7513-1-1.html