高可用完全分布式搭建

成功截图

历时一天，到晚上12点，终于搭建成功高可用的完全分布式。
从下午三点到晚上九点6个小时一直在找之前的搭建错误，没有成功。遂删掉四台虚拟机，准备重头开始。
从晚上接近十点到晚上12点，从创建虚拟机开始，花费两个小时，成功。
可见，在动手之前大脑中应该有清晰的思路才能开始下手，否则，费时费力心寒。
也可以看出，该删掉重来的时候不能犹豫，毕竟经过长时间的纠错之后，已经清楚了全部的坑。
上图

集群规划

1、同步时间

相关包下载路径(包括jdk、hadoop、zookeeper、xshell、xftp)：
https://pan.baidu.com/s/1UvQEUXhg4iRnLxA5sgDRUQ g318

务必同步时间，否则可能导致ZKFC无法启动
四台节点中分别输入

yum install ntp
ntpdate ntp1.aliyun.com

2、配置host文件

在node01节点如下操作

vi /etc/hosts

//更改如下

配置好后:wq保存

cd /etc
scp -r hosts root@node02:/etc
scp -r hosts root@node03:/etc
scp -r hosts root@node04:/etc

3、配置免密登录

各个节点先执行：ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_rsa

node01->node01 node01->node02 node01->node03 node01->node04
node02->node01
在node01节点：
将node01的公钥加入到其他节点的白名单中
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
在node02节点：
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

4、配置JDK、环境变量

在node01节点
在/opt下解压jdk后，将解压的文件夹拷贝到node02，node03，node04节点

cd /opt
scp -r jdk1.8.0_151 root@node02:/opt
scp -r jdk1.8.0_151 root@node03:/opt
scp -r jdk1.8.0_151 root@node04:/opt

后配置环境变量

vi ~/.bashrc

export JAVA_HOME=/opt/jdk1.8.0_151  //安装jdk路径
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop-2.6.5  //安装Hadoop路径，后续介绍配置
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

**重要：之后执行yum remove openjdk（删除linux自带的老版本jdk）
之后source ~/.bashrc
后java -version即可显示当前版本jdk
成功后，在node02，node03，node04节点同样配置

5、配置hadoop

在node01节点
在/opt下解压jdk，等后续配置好后再拷贝至其他节点

vi /opt/hadoop-2.6.5/etc/hadoop/hdfs-site.xml

//添加以下内容
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/sxt/hadoop/ha/jn</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>  	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

vi /opt/hadoop-2.6.5/etc/hadoop/core-site.xml 

//添加以下内容
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://mycluster</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/local</value>
</property>

vi /opt/hadoop-2.6.5/etc/hadoop/slaves

修改如下

**切记不可多余空格
此时已经配置完毕，可以拷贝至node02.node03.node04
cd /opt
scp -r hadoop-2.6.5 root@node02:/opt
scp -r hadoop-2.6.5 root@node03:/opt
scp -r hadoop-2.6.5 root@node04:/opt

6、搭建zookeeper集群：

在node02操作
cd /opt，解压zookeeper

//	修改conf目录下的zoo_sample.cfg的名称，改为zoo.cfg
cd /opt/zookeeper-3.4.10/conf
mv zoo_sample.cfg zoo.cfg

//修改zoo.cfg
dataDir=/var/ydw/zookeeper
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888

//在“dataDir=/var/ydw/zookeeper”路径下创建myid文件
mkdir /var/ydw/
cd /var/ydw
mkdir zookeeper
cd zookeeper
vi myid
写入数字“1”（此为node02下操作，node03写数字2，类推）
wq保存退出

//将配置好的zookeeper安装包拷贝到node03 node04
cd /opt
scp -r zookeeper-3.4.10 root@node03:/opt
scp -r zookeeper-3.4.10 root@node04:/opt
//	拷贝完毕后，在各自节点上创建myid号，ID号要依次递增

7、启动步骤

//严格按照步骤启动

先关闭防火墙！！！！！
(若datanode启动后秒关，要删除/opt/hadoop-2.6.5/etc/hadoop/core-site.xml 中hadoop.tmp.dir属性值下的/hdfs/dfs/data，再重启)

//在 node2 3 4启动zookeeper
cd /opt/zookeeper-3.4.10/bin
./zkServer.sh start

//在node01、node02、node03分别执行如下命令
hadoop-daemon.sh start journalnode

//随机选择一台NameNode执行：
hdfs namenode -format
hadoop-daemon.sh start namenode

//另外一台NameNode节点执行：
hdfs namenode  -bootstrapStandby

//在node01
hdfs zkfc -formatZK
//在node01关闭所有节点上的进程 
 stop-dfs.sh
//在node01启动HDFS   
start-dfs.sh

至此启动完毕，在每个节点下输入jps，看是否与规划符合
中间若有配置错误，需先在node01  
stop-dfs.sh
后pkill -9 java
在每个节点下kill -9 端口号		杀死jps后
再去/var/abc/hadoop/删掉cluster，并且删掉/var/ydw/zookeeper中的.pid文件，后再按照上述步骤启动
否则会出现配置已经修改，但不生效的异常情况