hadoop-hdfs-ha环境搭建与问题解决

hadoop-hdfs-ha环境搭建

搭建ha规划
HA搭建:(必须先停止之前启动的进程stop-dfs.sh)

严格按照下面步骤：
（一） 启动zookeeper集群
（二） 启动journalnode
（三） 格式化HDFS（在仍以一个namenode上，两个其中一个）

hdfs namenode –format

（四） 让另外一台NN 同步这个启动的NN 数据

hdfs namenode -bootstrapStandby

（五） 格式化ZKFC(在Master01上执行一次即可)

 hdfs zkfc –formatZK

（六） 启动

start-dfs.sh

下面搭建开始：
1. 搭建zookeeper
（1）传输zookeeper压缩包，解压

tar xf zookeeper-3.4.6.tar.gz

（2）解压完成移动到/opt/sxt目录下

mv zookeeper-3.4.6 /opt/sxt

（3）配置zookeeper的环境变量ZOOKEEPER_HOME

vi  etc/profile

配置如图所示：

保存退出，执行！！！

./etc/profile

（4）到zookeeper-3.4.6目录下的conf目录中，复制其中的zoo_sample.cfg文件改名为zoo.cfg.

cp zoo_sample.cfg zoo.cfg

然后修改zoo.cfg文件，如图所示：

vi zoo.cfg

在最后添加如图所示行，三个zookeeper节点，有两个状态，一个可用的，一个不可用的。

最后保存退出。
Zookeeper有两个ID一个是serverid（myid）一个是zxid（事务id），当zookeeper挂掉之后，谁的数据最多，谁就是新的领导者，通过事务id进行判断，事务id一样，再通过serverid比较。
（5）在/var/sxt/Hadoo