高可用完全分布式安装步骤

1.4台服务器node01 node02 node03 node04

集群规划：
node01 ：NN-1、ZKFC、 JNN
node02 ：NN-2、 DN、 ZK 、ZKFC、 JNN
node03 ： DN、 ZK、JNN
node04 ：ZK 、JNN

2.配置好jdk

3.配置免密钥

node01->node01 node01->node02 node01->node03 node01->node04
node02->node01
①：① ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
① 在node02节点执行，将node01的公钥加入到其他节点的白名单中

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

4.静态网络配置 关闭防火墙

5.先配置zookeeper：需要配置node02 node03 node04

5.1先配置node02，把zookeeper放在/usr/local 下
然后进行解压，进入local目录：
tar -zxvf zookeeper-3.4.10.tar.gz/usr/local

5.2
(1) 修改conf目录下的zoo_sample.cfg的名称，改为zoo.cfg
mv zoo_sample.cfg zoo.cfg

(2) 修改zoo.cfg
① dataDir=/var/zfg/zookeeper
② server.1=node02:2888:3888
③ server.2=node03:2888:3888
④ server.3=node04:2888:3888

(3) 在dataDir目录下创建一个myid文件，在这个文件中写上当前节点ID号
先创建zfg，然后创建zoopeeker，然后创建 myid node02是写 1 对应上边的配置文件即可

(4) 将配置好的zookeeper安装包拷贝到node03 node04
进入到zookeeper的上一级目录：
执行：**scp -r zookeeper-3.4.10 node03:’pwd’ 传给node03 node04

(5) 拷贝完毕后，在各自节点上创建myid号，ID号要依次递增

5.3启动zookeeper命令：
进入bin目录： ./zkServer.sh start 启动
//需要关闭时使用 ./zkServer.sh stop 关闭

6.安装配置hadoop 在node01 node02 node03 node04上配置

6.1在node01上安装hadoop，解压到local中

6.2配置hadoop文件
首先配置：

vim .bashrc

vim /etc/hosts

修改hdfs-site.xml配置文件

<property>
                     <name>dfs.nameservices</name>
                     <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/abc/hadoop/ha/jn</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>           <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

修改core-site.xml配置文件

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://mycluster</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

修改slaves配置文件

修改为node02 node03 node04

6.3将配置好的HDFS安装包拷贝到node02 node03 node04
local目录：
scp -r hadoop-2.6.5 node02:pwd

7.格式化NameNode(创建目录以及文件)

7.1 在node01、node02、node03分别执行如下命令

1. hadoop-daemon.sh start journalnode 开启JN

7.2 随机选择一台NameNode执行（可node01）：

1. hdfs namenode -format 格式化
2. hadoop-daemon.sh start namenode 启动

7.3 另外一台NameNode节点执行：
hdfs namenode -bootstrapStandby

7.4 node01 node02 格式化zkfc
hdfs zkfc -formatZK

7.5stop-dfs.sh 关闭进程

7.6启动zookeeper:node02 node03 node04
./zkServer.sh start 启动

7.7启动HDFS start-dfs.sh
jps可查看状态

关闭重新启动时：
先启动zookeeper：node02 node03 node04 ./zkServer.sh start 启动
再在node01 启动hdfs：启动HDFS start-dfs.sh

问题：
1.zookeeper启动不起来的原因：
1.1：防火墙没关
1.2：myid没配置好
1.3：缓存没清：zookeeper下的zookeeper_server.pid
1.4：配置文件没配置好，无法进行映射连接