三台服务器部署Hadoop集群HA高可用

一.安装JAVA环境——JDK

二.配置hosts系统文件

[root@nna /]# vi /etc/hosts

在hosts文件中添加：
172.21.32.21 nna
172.21.32.6 nns
172.21.32.40 dn1
编辑完成后保存退出，在另外两台服务器上做相同操作。

三.安装SSH

生成该节点的私钥和公钥，将生成的公钥(id_rsa.pub)文件中的内容追加到authorized_keys当中，并赋予600权限

[root@nna /]# ssh-keygen -t rsa
[root@nna /]# cd ~/.ssh/
[root@nna /]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@nna /]# chmod 600 ~/.ssh/authorized_keys 

将另外两台服务器的公钥拷贝到nna服务器上面，一样追加到authorized_keys 当中，然后把authorized_keys 文件传到另外两台服务器。

[root@nna /]# scp ~/.ssh/authorized_keys root@172.21.32.6:~/.ssh/

四.关闭防火墙

1.如果装了防火墙

#关闭防火墙
[root@nna /]# chkconfig iptables off
#验证防火墙状态命令
[root@nna /]# chkconfig iptables --list

2.如果没装防火墙，而cntos自带的防火墙为firewall

#查看防火墙状态
[root@nna /]# firewall-cmd --state
#停止firewall:
[root@nna /]# systemctl stop firewalld.service
#禁止开机启动防火墙：
[root@nna /]# systemctl stop firewalld.service

五.修改时区

#查看时区
[root@nna /]# timedatectl
#修改时区
[root@nna /]# timedatectl set-timezone Asia/Shanghai

六.Zookeeper部署

[root@nna /]# tar -zxvf zookeeper-3.4.6.tar.gz
[root@nna /]# mv zookeeper-3.4.6 zookeeper
#创建状态数据存储文件夹
[root@nna /]# mkdir -p /data/soft/new/zkdata
#进入到zookeeper的conf下
[root@nna /]# cd /zookeeper/conf
#复制zoo_sample.cfg文件为zoo.cfg
[root@nna /]# cp zoo_sample.cfg zoo.cfg
#编辑zoo.cfg
[root@nna /]# vi zoo.cfg
#配置需要的属性值
#zookeeper数据存放路径地址
dataDir=/data/soft/new/zkdata
#客户端端口号
clientPort=2181
#各个服务节点地址配置
server.1=nna:2888:3888
server.2=nns:2888:3888
server.3=dn1:2888:3888

保存退出！

在dataDir=/data/soft/new/zkdata的目录下手动创建一个myid的文件，文件内容对应上面的server的编号

#nna节点
[root@nna /]# echo 1 > myid
#nns节点
[root@nns /]# echo 2 > myid
#dn1节点
[root@dn1 /]# echo 3 > myid

环境变量配置

[root@nna /]# vi /etc/profile
#配置zookeeper全局变量
export ZK_HOME=/usr/software/zookeeper
export PATH=$PATH:$ZK_HOME/bin
#保存编辑内容并退出
#使环境变量立即生效
[root@nna /]# source /etc/profile

nns与dn1节点配置和上面相同,当配置完成之后启动zookeeper:

[root@nna /]# zkServer.sh start
[root@nns /]# zkServer.sh start
[root@dn1 /]# zkServer.sh start

验证是否成功：

[root@nna /]# zkServer.sh status
[root@nns /]# zkServer.sh status
[root@dn1 /]# zkServer.sh status

七.Hadoop部署

#解压hadoop压缩包
[root@nna software]# tar -zxvf hadoop-2.7.7.tar.gz
[root@nna software]# mv hadoop-2.7.7 hadoop
[root@nna software]# vi /etc/profile
#添加Hadoop集群环境变量
export HADOOP_HOME=/data/soft/new/hadoop
export PATH=$PATH:$HADOOP_HOME
#保存追加内容并退出
[root@nna software]# source /etc/profile
#进入hadoop配置文件夹
[root@nna software]# cd /usr/software/hadoop/etc/hadoop

首先是nna节点的四个配置文件
core-site.xml配置文件内容如下：

<configuration>
           <property>
             <name>fs.defaultFS</name>
             <value>hdfs://cluster1</value>
          </property>
                                                       
          <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/soft/new/tmp</value>
          </property>
                                   
          <property>
            <name>io.file.buffer.size</name>
            <value>131072</value>
          </property>
                                    
         <property>
           <name>ha.zookeeper.quorum</name>
           <value>nna:2181,nns:2181,dn1:2181</value>
         </property>
         <property>
           <name>hadoop.proxyuser.hadoop.hosts</name>
           <value>*</value>
         </property>
	
	<property>
          <name>hadoop.proxyuser.root.hosts</name>
          <value>*</value>
        </property>
        <property>
          <name>hadoop.proxyuser.root.groups</name>
          <value>*</value>
        </property>

                                                                                
</configuration>

hdfs-site.xml配置文件内容如下：

<configuration>
           <property>
                 <name>dfs.nameservices</name>
                 <value>cluster1</value>
            </property>
                                      
           <property>
                   <name>dfs.ha.namenodes.cluster1</name>
                    <value>nna,nns</value>
           </property>
                                        
            <property>
                   <name>dfs.namenode.rpc-address.cluster1.nna</name>
                   <value>nna:9000</value>
            </property>

           <property>
                  <name>dfs.namenode.rpc-address.cluster1.nns</name>
                  <value>nns:9000</value>
           </property>
                   
            <property>
                    <name>dfs.namenode.http-address.cluster1.nna</name>
                    <value>nna:50070</value>
            </property>

            <property>
                    <name>dfs.namenode.http-address.cluster1.nns</name>
                    <value>nns:50070</value>
           </property>

            <property>
                    <name>dfs.namenode.shared.edits.dir</name>
                    <value>qjournal://nna:8485;nns:8485;dn1:8485/cluster1</value>
            </property>
                                   
             <property>
                     <name>dfs.journalnode.edits.dir</name>
                     <value>/data/soft/new/tmp/journal</value>
             </property>
                                
             <property>
                     <name>dfs.ha.automatic-failover.enabled</name>
                     <value>true</value>
             </property>
                        
              <property>
                     <name>dfs.client.failover.proxy.provider.cluster1</name>
                     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
               </property>
               
               <property>
                     <name>dfs.ha.fencing.methods</name>
                     <value>sshfence</value>
               </property>
                          
               <property>
                     <name>dfs.ha.fencing.ssh.private-key-