Hadoop HA高可用集群搭建（2.7.2）

1.集群规划：

 主机名        IP                安装的软件                            运行的进程
drguo1  192.168.80.149 jdk、hadoop                         NameNode、DFSZKFailoverController(zkfc)、ResourceManager
drguo2 192.168.80.150  jdk、hadoop                         NameNode、DFSZKFailoverController(zkfc)、ResourceManager
drguo3  192.168.80.151  jdk、hadoop、zookeeper     DataNode、NodeManager、JournalNode、QuorumPeerMain
drguo4  192.168.80.152  jdk、hadoop、zookeeper     DataNode、NodeManager、JournalNode、QuorumPeerMain

drguo5 192.168.80.153  jdk、Hadoop、zookeeper     DataNode、NodeManager、JournalNode、QuorumPeerMain

排的好好的，显示出来就乱了！！！

2.前期准备：

准备五台机器，修改静态IP、主机名、主机名与IP的映射，关闭防火墙，安装JDK并配置环境变量（不会请看这http://blog.csdn.net/dr_guo/article/details/50886667），创建用户：用户组，SSH免密码登录SSH免密码登录（报错请看这http://blog.csdn.net/dr_guo/article/details/50967442）。

注意：要把127.0.1.1那一行注释掉，要不然会出现jps显示有datanode，但网页显示live nodes为0；

注释之后就正常了，好像有人没注释也正常，我也不知道为什么0.0

3.搭建zookeeper集群（drguo3/drguo4/drguo5）

见：ZooKeeper完全分布式集群搭建

4.正式开始搭建Hadoop HA集群

去官网下最新的Hadoop（http://apache.opencas.org/hadoop/common/stable/），目前最新的是2.7.2，下载完之后把它放到/opt/Hadoop下

[plain]  view plain  copy

1. guo@guo:~/下载$ mv ./hadoop-2.7.2.tar.gz /opt/Hadoop/  
2. mv: 无法创建普通文件"/opt/Hadoop/hadoop-2.7.2.tar.gz": 权限不够  
3. guo@guo:~/下载$ su root   
4. 密码：   
5. root@guo:/home/guo/下载# mv ./hadoop-2.7.2.tar.gz /opt/Hadoop/  

解压

[plain]  view plain  copy

1. guo@guo:/opt/Hadoop$ sudo tar -zxf hadoop-2.7.2.tar.gz   
2. [sudo] guo 的密码：  

解压jdk的时候我用的是tar -zxvf，其中的v呢就是看一下解压的过程，不想看你可以不写。

修改opt目录所有者(用户：用户组)直接把opt目录的所有者/组换成了guo。具体情况在ZooKeeper完全分布式集群搭建说过。

[plain]  view plain  copy

1. root@guo:/opt/Hadoop# chown -R guo:guo /opt  

设置环境变量

[plain]  view plain  copy

1. guo@guo:/opt/Hadoop$ sudo gedit /etc/profile  

在最后加上（这样设置在执行bin/sbin目录下的脚本时就不用进入该目录用了）

[plain]  view plain  copy

1. #hadoop  
2. export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.2  
3. export PATH=$PATH:$HADOOP_HOME/sbin  
4. export PATH=$PATH:$HADOOP_HOME/bin  

然后更新配置

[plain]  view plain  copy

1. guo@guo:/opt/Hadoop$ source /etc/profile  

修改/opt/Hadoop/hadoop-2.7.2/etc/hadoop下的hadoop-env.sh

[plain]  view plain  copy

1. guo@guo:/opt/Hadoop$ cd hadoop-2.7.2  
2. guo@guo:/opt/Hadoop/hadoop-2.7.2$ cd etc/hadoop/  
3. guo@guo:/opt/Hadoop/hadoop-2.7.2/etc/hadoop$ sudo gedit ./hadoop-env.sh  

进入文件后

[plain]  view plain  copy

1. export JAVA_HOME=${JAVA_HOME}#将这个改成JDK路径，如下  
2. export JAVA_HOME=/opt/Java/jdk1.8.0_73  

然后更新文件配置

[plain]  view plain  copy

1. guo@guo:/opt/Hadoop/hadoop-2.7.2/etc/hadoop$ source ./hadoop-env.sh 

前面配置和单机模式一样，我就直接复制了。

注意：汉语注释是给你看的，复制粘贴的时候都删了！！！

修改core-site.xml

[html]  view plain  copy

 

1. <configuration>  
2. <!-- 指定hdfs的nameservice为ns1 -->  
3. <property>  
4. <name>fs.defaultFS</name>  
5. <value>hdfs://ns1/</value>  
6. </property>  
7. <!-- 指定hadoop临时目录 -->  
8. <property>  
9. <name>hadoop.tmp.dir</name>  
10. <value>/opt/Hadoop/hadoop-2.7.2/tmp</value>  
11. </property>  
12. <!-- 指定zookeeper地址 -->  
13. <property>  
14. <name>ha.zookeeper.quorum</name>  
15. <value>drguo3:2181,drguo4:2181,drguo5:2181</value>  
16. </property>  
17. </configuration>  

修改hdfs-site.xml

[html]  view plain  copy

 

1. <configuration>  
2.     <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->  
3.     <property>  
4.         <name>dfs.nameservices</name>  
5.         <value>ns1</value>  
6.     </property>  
7.     <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->  
8.     <property>  
9.         <name>dfs.ha.namenodes.ns1</name>  
10.         <value>nn1,nn2</value>  
11.     </property>  
12.     <!-- nn1的RPC通信地址 -->  
13.     <property>  
14.         <name>dfs.namenode.rpc-address.ns1.nn1</name>  
15.         <value>drguo1:9000</value>  
16.     </property>  
17.     <!-- nn1的http通信地址 -->  
18.     <property>  
19.         <name>dfs.namenode.http-address.ns1.nn1</name>  
20.         <value>drguo1:50070</value>  
21.     </property>  
22.     <!-- nn2的RPC通信地址 -->  
23.     <property>  
24.         <name>dfs.namenode.rpc-address.ns1.nn2</name>  
25.         <value>drguo2:9000</value>  
26.     </property>  
27.     <!-- nn2的http通信地址 -->  
28.     <property>  
29.         <name>dfs.namenode.http-address.ns1.nn2</name>  
30.         <value>drguo2:50070</value>  
31.     </property>  
32.     <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->  
33.     <property>  
34.         <name>dfs.namenode.shared.edits.dir</name>  
35.         <value>qjournal://drguo3:8485;drguo4:8485;drguo5:8485/ns1</value>  
36.     </property>  
37.     <!-- 指定JournalNode在本地磁盘存放数据的位置 -->  
38.     <property>  
39.         <name>dfs.journalnode.edits.dir</name>  
40.         <value>/opt/Hadoop/hadoop-2.7.2/journaldata</value>  
41.     </property>  
42.     <!-- 开启NameNode失败自动切换 -->  
43.     <property>  
44.         <name>dfs.ha.automatic-failover.enabled</name>  
45.         <value>true</value>  
46.     </property>  
47.     <!-- 配置失败自动切换实现方式 -->  
48.     <property>  
49.         <name>dfs.client.failover.proxy.provider.ns1</name>  
50.         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
51.     </property>  
52.     <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->  
53.     <property>  
54.         <name>dfs.ha.fencing.methods</name>  
55.         <value>  
56.             sshfence  
57.             shell(/bin/true)  
58.         </value>  
59.     </property>  
60.     <!-- 使用sshfence隔离机制时需要ssh免登陆 -->  
61.     <property>  
62.         <name>dfs.ha.fencing.ssh.private-key-files</name>  
63.         <value>/home/guo/.ssh/id_rsa</value>  
64.     </property>  
65.     <!-- 配置sshfence隔离机制超时时间 -->  
66.     <property>  
67.         <name>dfs.ha.fencing.ssh.connect-timeout</name>  
68.         <value>30000</value>  
69.     </property>  
70. </configuration>  

先将mapred-site.xml.template改名为mapred-site.xml然后修改mapred-site.xml

[html]  view plain  copy

 

1. <configuration>  
2.     <!-- 指定mr框架为yarn方式 -->  
3.     <property>  
4.         <name>mapreduce.framework.name</name>  
5.         <value>yarn</value>  
6.     </property>  
7. </configuration>  

修改yarn-site.xml

[html]  view plain  copy

 

1. <configuration>  
2.     <!-- 开启RM高可用 -->  
3.     <property>  
4.        <name>yarn.resourcemanager.ha.enabled</name>  
5.        <value>true</value>  
6.     </property>  
7.     <!-- 指定RM的cluster id -->  
8.     <property>  
9.        <name>yarn.resourcemanager.cluster-id</name>  
10.        <value>yrc</value>  
11.     </property>  
12.     <!-- 指定RM的名字 -->  
13.     <property>  
14.        <name>yarn.resourcemanager.ha.rm-ids</name>  
15.        <value>rm1,rm2</value>  
16.     </property>  
17.     <!-- 分别指定RM的地址 -->  
18.     <property>  
19.        <name>yarn.resourcemanager.hostname.rm1</name>  
20.        <value>drguo1</value>  
21.     </property>  
22.     <property>  
23.        <name>yarn.resourcemanager.hostname.rm2</name>  
24.        <value>drguo2</value>  
25.     </property>  
26.     <!-- 指定zk集群地址 -->  
27.     <property>  
28.        <name>yarn.resourcemanager.zk-address</name>  
29.        <value>drguo3:2181,drguo4:2181,drguo5:2181</value>  
30.     </property>  
31.     <property>  
32.        <name>yarn.nodemanager.aux-services</name>  
33.        <value>mapreduce_shuffle</value>  
34.     </property>  
35. </configuration>  

修改slaves

[html]  view plain  copy

 

1. drguo3  
2. drguo4  
3. drguo5  

把Hadoop整个目录拷贝到drguo2/3/4/5，拷之前把share下doc删了（文档不用拷），这样会快点。
5.启动zookeeper集群（分别在drguo3、drguo4、drguo5上启动zookeeper）

[plain]  view plain  copy

 

1. guo@drguo3:~$ zkServer.sh start  
2. ZooKeeper JMX enabled by default  
3. Using config: /opt/zookeeper-3.4.8/bin/../conf/zoo.cfg  
4. Starting zookeeper ... STARTED  
5. guo@drguo3:~$ jps  
6. 2005 Jps  
7. 1994 QuorumPeerMain  
8. guo@drguo3:~$ ssh drguo4  
9. Welcome to Ubuntu 15.10 (GNU/Linux 4.2.0-16-generic x86_64)  
10.   
11.  * Documentation:  https://help.ubuntu.com/  
12.   
13. Last login: Fri Mar 25 14:04:43 2016 from 192.168.80.151  
14. guo@drguo4:~$ zkServer.sh start  
15. ZooKeeper JMX enabled by default  
16. Using config: /opt/zookeeper-3.4.8/bin/../conf/zoo.cfg  
17. Starting zookeeper ... STARTED  
18. guo@drguo4:~$ jps  
19. 1977 Jps  
20. 1966 QuorumPeerMain  
21. guo@drguo4:~$ exit  
22. 注销  
23. Connection to drguo4 closed.  
24. guo@drguo3:~$ ssh drguo5  
25. Welcome to Ubuntu 15.10 (GNU/Linux 4.2.0-16-generic x86_64)  
26.   
27.  * Documentation:  https://help.ubuntu.com/  
28.   
29. Last login: Fri Mar 25 14:04:56 2016 from 192.168.80.151  
30. guo@drguo5:~$ zkServer.sh start  
31. ZooKeeper JMX enabled by default  
32. Using config: /opt/zookeeper-3.4.8/bin/../conf/zoo.cfg  
33. Starting zookeeper ... STARTED  
34. guo@drguo5:~$ jps  
35. 2041 Jps  
36. 2030 QuorumPeerMain  
37. guo@drguo5:~$ exit  
38. 注销  
39. Connection to drguo5 closed.  
40. guo@drguo3:~$ zkServer.sh status  
41. ZooKeeper JMX enabled by default  
42. Using config: /opt/zookeeper-3.4.8/bin/../conf/zoo.cfg  
43. Mode: leader  

6.启动journalnode（分别在drguo3、drguo4、drguo5上启动journalnode）注意只有第一次需要这么启动，之后启动hdfs会包含journalnode。

[plain]  view plain  copy

 

1. guo@drguo3:~$ hadoop-daemon.sh start journalnode  
2. starting journalnode, logging to /opt/Hadoop/hadoop-2.7.2/logs/hadoop-guo-journalnode-drguo3.out  
3. guo@drguo3:~$ jps  
4. 2052 Jps  
5. 2020 JournalNode  
6. 1963 QuorumPeerMain  
7. guo@drguo3:~$ ssh drguo4  
8. Welcome to Ubuntu 15.10 (GNU/Linux 4.2.0-16-generic x86_64)  
9.   
10.  * Documentation:  https://help.ubuntu.com/  
11.   
12. Last login: Fri Mar 25 00:09:08 2016 from 192.168.80.149  
13. guo@drguo4:~$ hadoop-daemon.sh start journalnode  
14. starting journalnode, logging to /opt/Hadoop/hadoop-2.7.2/logs/hadoop-guo-journalnode-drguo4.out  
15. guo@drguo4:~$ jps  
16. 2103 Jps  
17. 2071 JournalNode  
18. 1928 QuorumPeerMain  
19. guo@drguo4:~$ exit  
20. 注销  
21. Connection to drguo4 closed.  
22. guo@drguo3:~$ ssh drguo5  
23. Welcome to Ubuntu 15.10 (GNU/Linux 4.2.0-16-generic x86_64)  
24.   
25.  * Documentation:  https://help.ubuntu.com/  
26.   
27. Last login: Thu Mar 24 23:52:17 2016 from 192.168.80.152  
28. guo@drguo5:~$ hadoop-daemon.sh start journalnode  
29. starting journalnode, logging to /opt/Hadoop/hadoop-2.7.2/logs/hadoop-guo-journalnode-drguo5.out  
30. guo@drguo5:~$ jps  
31. 2276 JournalNode  
32. 2308 Jps  
33. 1959 QuorumPeerMain  
34. guo@drguo5:~$ exit  
35. 注销  
36. Connection to drguo5 closed.  

在drguo4/5启动时发现了问题，没有journalnode，查看日志发现是因为汉语注释造成的，drguo4/5全删了问题解决。drguo4/5的拼音输入法也不能用，我很蛋疼。。镜像都是复制的，咋还变异了呢。
7.格式化HDFS(在drguo1上执行)

[plain]  view plain  copy

 

1. guo@drguo1:/opt$ hdfs namenode -format  

这回又出问题了，还是汉语注释闹得，drguo1/2/3也全删了，问题解决。

注意：格式化之后需要把tmp目录拷给drguo2（不然drguo2的namenode起不来）

[plain]  view plain  copy

 

1. guo@drguo1:/opt/Hadoop/hadoop-2.7.2$ scp -r tmp/ drguo2:/opt/Hadoop/hadoop-2.7.2/  

8.格式化ZKFC(在drguo1上执行)

[plain]  view plain  copy

 

1. guo@drguo1:/opt$ hdfs zkfc -formatZK  

9.启动HDFS(在drguo1上执行)

[plain]  view plain  copy

 

1. guo@drguo1:/opt$ start-dfs.sh   

10.启动YARN(在drguo1上执行)

[plain]  view plain  copy

 

1. guo@drguo1:/opt$ start-yarn.sh   

PS:
1.drguo2的resourcemanager需要手动单独启动：

yarn-daemon.sh start resourcemanager

2.namenode、datanode也可以单独启动：

hadoop-daemon.sh start namenode

hadoop-daemon.sh start  datanode
3.NN 由standby转化成active
hdfs haadmin -transitionToActive nn1 --forcemanual

大功告成！！！

是不是和之前规划的一样0.0

转载地址：http://blog.csdn.net/dr_guo/article/details/50975851