HadoopHa的搭建过程

前提：

1.将原有的装好zookeeoer的三台虚拟机关闭加入快照，以防万一

2.参考下图 搭建 Hadoop HA

一：关闭防火墙

service tables stop

二：时间同步

重点：【三台虚拟机都要操作】

 yum install ntp
 ntpdate -u s2c.time.edu.cn
  
    
  date可以查看时间

3、免密钥   (远程执行命令)

 在两个主节点生成密钥文件
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    ssh-copy-id ip

    master-->master,node1,node2
    node1-->master,node1,node2

master 和 node1 都要执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa命令

  

在master依次执行shh-copy-id master,node1,node2如下图

在node1执行同样操作ssh-copy-id master,node1,node2

四：修改hadoop配置文件
 

 core-site.xml  链接：https://pan.baidu.com/s/1JpwfjQhYwV5HVPRfKowaGw  提取码：2hkt 

 hdfs-site.xml  链接：https://pan.baidu.com/s/1DpJ_kJgI8fWc5bUnnZoBzA    提取码：0573 

直接获取文件覆盖掉cd /usr/local/soft/hadoop-2.6.0/etc/hadoop/里的配置文件

    同步到其它节点
         scp * node1:`pwd`
         scp * node2:`pwd`

五：删除hadoop数据存储目录下的文件  每个节点都需要删除

    执行命令： rm -rf /usr/local/soft/hadoop-2.6.0/tmp

六：启动zookeeper  三台都需要启动

    zkServer.sh start

    zkServer.sh status

七：启动JN   存储hdfs元数据

     三台JN上执行 启动命令： 
     hadoop-daemon.sh start journalnode

 八：格式化 在一台NN上执行

   hdfs namenode -format
      启动当前的NN

      hadoop-daemon.sh start namenode

九：执行同步 没有格式化的NN上执行  在另外一个namenode上面执行

 hdfs namenode -bootstrapStandby

十：格式化ZK   在已经启动的namenode上面执行

    ！！一定要先 把zk集群正常 启动起来
      hdfs zkfc -formatZK

十一：启动hdfs集群,在启动了namenode的节点上执行

    start-dfs.sh

十二：yarn  高可用

1、修改配置文件

在cd /usr/local/soft/hadoop-2.6.0/etc/hadoop里面修改；建议直接下载我的文件直接覆盖上去
    yarn-site.xml        链接：https://pan.baidu.com/s/14x0RgCY4O9LqilGhqr0gfA   提取码：v7go 
    mapred-site.xml  链接：https://pan.baidu.com/s/14sJ_a95N-02HPRZmBFlu2Q 提取码：qfqv 

    同步到所有节点
    scp * node1:`pwd`
    scp * node2:`pwd`

2、启动yarn   在master启动
    start-yarn.sh

3、在另外一台主节点上启动RM
    yarn-daemon.sh start resourcemanager
    

可以访问 master:8088确实是否启动

    然后访问node1:8088会自动跳转到master:8088