摘要
在Hadoop2.0之前,只有一个NameNode,若NameNode机器出现故障,那么整个集群都无法使用。这个架构存在单点故障的隐患。之后推出了HA的架构,即有两个NameNode,一台为active状态,一台为standby状态。active NameNode对外提供服务,standby实时同步了active NameNode的元数据,当active NameNode节点出现故障,standby NameNode节点可立即切换为active状态并对外提供服务。所以,在实际生产中一般采用HA架构。这里用三台机器测试搭建Hadoop高可用集群。
一、环境与软件版本
CentOS release 6.8 (Final) 64-bit
(注:lsb_release -a 命令查看操作系统版本,file /bin/ls 命令查看操作系统位数)
JDK 1.8.0_45
hadoop-2.6.0-cdh5.7.0
zookeeper3.4.6.tar.gz
二、主机规划
Host | 安装软件 | 进程 |
---|---|---|
hadoop001 | hadoop、zookeeper | NameNode、DFSZKFailoverController、JournalNode、DataNode 、 ResourceManager 、JobHistoryServer、NodeManager 、QuorumPeerMain |
hadoop002 | hadoop、zookeeper | NameNode 、DFSZKFailoverController、JournalNode 、DataNode 、ResourceManager 、NodeManager 、QuorumPeerMain |
hadoop003 | hadoop、zookeeper | JournalNode 、DataNode 、NodeManager、QuorumPeerMain |
三、目录规划
名称 | 路径 | 备注 |
---|---|---|
$HADOOP_HOME | /home/hadoop/app/hadoop-2.6.0-cdh5.7.0 | |
Data | $HADOOP_HOME/data | |
Log | $HADOOP_HOME/logs | |
hadoop.tmp.dir | $HADOOP_HOME/tmp | 需要手工创建,权限 777 |
$ZOOKEEPER_HOME | /home/hadoop/app/zookeeper3.4.6 |
四、环境准备
1、设置ip地址(3台)
[root@hadoop001 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:60:E8:D2
TYPE=Ethernet
UUID=055d1cdb-65d4-406e-b797-f00342d412f7
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO="static"
IPADDR=192.168.137.130
NETMASK=255.255.255.0
GATEWAY=192.168.137.2
DNS1=10.64.0.10
查看ip命令:hostname -i
根据情况修改IPADDR,BOOTPROTO修改为static,ONBOOT修改为yes,修改为后执行
service network restart
然后执行
ifconfig
查看是否成功。
2、关闭防火墙(3台)
执行命令
service iptables stop
然后执行
service iptables status
验证是否关闭
3、关闭防火墙开机自动启动(3台)
执行命令
chkconfig iptables off
然后查看是否生效
chkconfig --list | grep iptables
显示off即为成功关闭。
4、设置主机名(3台)
查看主机名命令
hostname
修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop001
5、修改hosts文件,将ip和hostname绑定(3台)
[root@hadoop001 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.137.130 hadoop001
192.168.137.131 hadoop002
192.168.137.132 hadoop003
修改完成后,ping hadoop001测试是否能够ping通。如能通说明host已经生效。
6、设置3台机器SSH互相通信
这里我用hadoop用户进行操作,之后搭建hadoop集群也用此用户。
先操作hadoop001机器。
进程hadoop用户的家目录
ll -a
即可显示隐藏目录.ssh。先删除这个文件
rm -rf .ssh
然后执行
ssh-keygen
一直按回车键
[hadoop@hadoop001 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/hadoop/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /hadoop/.ssh/id_rsa.
Your public key has been saved in /hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
74:78:50:05:7e:c8:bb:2a:f1:45:c4:0a:9c:38:90:dc hadoop@hadoop001
The key's randomart image is:
+--[ RSA 2048]----+
| ..+ o ..ooo. |
| o E + =o. |
| . .oo* . |
| ..o.o |
| S.. |
| . .. |
| o .. |
| . .. |
| .. |
+-----------------+
待生成.ssh目录后,进入.ssh目录,查看里面的文件
-rw------- 1 hadoop hadoop 668 Sep 27 10:28 id_dsa
-rw-r--r-- 1 hadoop hadoop 606 Sep 27 10:28 id_dsa.pub
然后执行
cat id_rsa.pub >> authorized_keys
将hadoop001的公钥写进authorized_keys中。
然后在hadoop002,hadoop003执行生成.ssh目录操作,将.ssh目录下的
id_dsa.pub文件用scp命令传输给hadoop001。例hadoop002
scp id_dsa.pub hadoop@hadoop001:/home/hadoop/.ssh/id_dsa.pub2
在传输的时候,我们将hadoop002机器上的id_dsa.pub重命名为id_dsa.pub2,以便区分。
以上操作做完后,再执行
cat id_rsa.pub2 >> authorized_keys
cat id_rsa.pub3 >> authorized_keys
将hadoop002,hadoop003的公钥写进authorized_keys中。然后再将authorized_keys用scp命令分发给hadoop002,hadoop003。例如发给hadoop002
scp authorized_keys hadoop@hadoop002:/home/hadoop/.ssh/
分发完成后,在hadoop001机器上执行ssh hadoop002看是否能够免密码登录到hadoop002机器上。如果登录成功,说明SSH配置成功。最好在几台机器上互相登录验证。
7、安装JDK、设置环境变量
这里用root用户,将jdk设置到全局环境中
将jdk包mv到/usr/java下,执行
[root@hadoop001 java]# tar -xzvf jdk-8u45-linux-x64.gz
解压完成后,设置环境变量
vi /etc/profile
添加java环境变量
export JAVA_HOME&#