hadoop集群配置1113

1.将原有配置伪分布式zjgm01 zjgm02 zjgm03的hadoop-2.4.1 改名成 hadoop
2.安装配置hadoop集群（在zjgm01上操作）解压
tar -zxvf hadoop-2.4.1.tar.gz -C /app

2.2.1修改hadoop-env.sh        /home/hadoop/app/hadoop-2.4.1/etc/hadoop

export JAVA_HOME=/home/hadoop/app/jdk

2.2.2修改core-site.xml

2.2.3修改hdfs-site.xml


2.2.4修改mapred-site.xml

2.2.5修改yarn-site.xml

cd /home/hadoop/app/hadoop-2.4.1下
新建一个data
mkdir data
mkdir journaldata

cd /home/hadoop/app

2.4将配置好的hadoop拷贝到其他节点

scp -r hadoop-2.4.1/ zjgm02:/home/hadoop/app/
scp -r hadoop-2.4.1/ zjgm03:/home/hadoop/app/

cd /home/hadoop/app/hadoop-2.4.1

2.2.6修改slaves
在zjgm01 zjgm02上修改slaves 为 zjgm03

###注意：严格按照下面的步骤
2.5启动zookeeper集群（分别在zjgm01、zjgm02、zjgm03上启动zk）
cd /home/hadoop/app/zookeeper-3.4.5/bin
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status

2.6启动journalnode（分别在在zjgm01、zjgm02、zjgm03上执行）
hadoop-daemon.sh start journalnode
#运行jps命令检验，zjgm01、zjgm02、zjgm03上多了JournalNode进程
jps

2.7格式化HDFS
#在zjgm01上执行命令:
hdfs namenode -format
来到cd /home/hadoop/app/hadoop-2.4.1 如果格式化成功data 下面会有 .dfs

scp -r data/ zjgm02:/home/hadoop/app/hadoop-2.4.1/

2.8格式化ZKFC(在zjgm01上执行即可)
hdfs zkfc -formatZK

2.9启动HDFS(在zjgm01上执行)
sbin/start-dfs.sh

2.10启动YARN(#####注意#####：是在zjgm03上执行start-yarn.sh)
sbin/start-yarn.sh

到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
http://192.168.2.100:50070
NameNode ‘weekend01:9000’ (active)
http://192.168.2.102:50070
NameNode ‘weekend02:9000’ (standby)

验证HDFS HA
	首先向hdfs上传一个文件
	hadoop fs -put /etc/profile /profile
	hadoop fs -ls /
	然后再kill掉active的NameNode
	kill -9 <pid of NN>
	通过浏览器访问：http://192.168.2.102:50070
	NameNode 'weekend02:9000' (active)
	这个时候zjgm02上的NameNode变成了active
	
	通过浏览器访问：http://192.168.2.102:50070
	NameNode 'weekend01:9000' (standby)