Hadoop 中zoo_Hadoop中HA集群搭建步骤（详细）

搭建HA集群（在完全分布式集群的基础上，可以参考博主之前的博客）：

1、zookeeper集群搭建

a) 将zookeeper.tar.gz上传到node002、node003、node004

b) 解压到/opt

tar -zxf zookeeper-3.4.6.tar.gz -C /opt

c) 配置环境变量：

export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.6

export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

然后. /etc/profile让配置生效

d) 到$ZOOKEEPER_PREFIX/conf下

复制zoo_sample.cfg为zoo.cfg执行该命令（因为zookeeper默认使用zoo.cfg文件）：cp zoo_sample.cfg zoo.cfg

e) 编辑zoo.cfg

添加如下行：

2881为选择端口（进行通信），3881位投票端口

server.1=node002:2881:3881

server.2=node003:2881:3881

server.3=node004:2881:3881

修改

dataDir=/var/bjsxt/zookeeper/data（可以自己定义自己的路径，没必要和我的一样）

f) 创建/var/bjsxt/zookeeper/data目录，并在该目录下放一个文件：myid

在myid中写下当前zookeeper的编号

在node004上操作一下命令：

mkdir -p /var/bjsxt/zookeeper/data

echo 3 > /var/bjsxt/zookeeper/data/myid

g) 将/opt/zookeeper-3.4.6通过网络拷贝到node002、node003上

scp -r zookeeper-3.4.6/ node002:/opt

scp -r zookeeper-3.4.6/ node003:/opt

h) 在node002和node003上分别创建/var/bjsxt/zookeeper/data目录，

并在该目录下放一个文件：myid

node002:

mkdir -p /var/bjsxt/zookeeper/data

echo 1 > /var/bjsxt/zookeeper/data/myid

node003:

mkdir -p /var/bjsxt/zookeeper/data

echo 2 > /var/bjsxt/zookeeper/data/myid

i) 启动zookeeper

zkServer.sh start

zkServer.sh start|stop|status

j) 关闭zookeeper

zkServer.sh stop

l) 连接zookeeper

zkCli.sh

m) 退出zkCli.sh命令

quit

2、hadoop配置

core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/var/bjsxt/hadoop/ha</value>

</property>

<!-- 指定每个zookeeper服务器的位置和客户端端口号 -->

<property>

<name>ha.zookeeper.quorum</name>

<value>node002:2181,node003:2181,node004:2181</value>

</property>

</configuration>

hdfs-site.xml

<configuration>

<!-- 指定block默认副本个数 -->

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<!-- 用于解析fs.defaultFS中hdfs://mycluster中的mycluster地址 -->

<property>

<name>dfs.nameservices</name>

<value>mycluster</value>

</property>

<!-- mycluster下面由两个namenode服务支撑 -->

<property>

<name>dfs.ha.namenodes.mycluster</name>

<value>nn1,nn2</value>

</property>

<!--指定nn1的地址和端口号，发布的是一个hdfs://的服务-->

<property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

<value>node001:8020</value>

</property>

<property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

<value>node002:8020</value>

</property>

<!--指定三台journal服务器的地址-->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://node001:8485;node002:8485;node003:8485/mycluster</value>

</property>

<!-- 指定客户端查找active的namenode的策略：

会给所有namenode发请求，以决定哪个是active的 -->

<property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!--在发生故障切换的时候，ssh到对方服务器，将namenode进程kill掉 kill -9 55767-->

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_dsa</value>

</property>

<!-- 指定journalnode在哪个目录存放edits log文件 -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/var/bjsxt/hadoop/ha/jnn</value>

</property>

<!--启用自动故障切换-->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

</configuration>

必须四台服务器都要进行同步，可以自己scp

3、启动ha的hadoop

a) 在node001node002node003上启动三台journalnode

hadoop-daemon.sh start journalnode

b) 任意选择node001或者node002，格式化HDFS

hdfs namenode -format

格式化后，启动namenode进程

hadoop-daemon.sh start namenode

c) 在另一台node002或者node001上同步元数据（这两个是对应的，格式化node001就在node002同步，反之）

hdfs namenode -bootstrapStandby

d) 初始化zookeeper上的内容node001

hdfs zkfc -formatZK

e) 启动hadoop集群，可在node001到node004这四台服务器上任意位置执行

start-dfs.sh

4、zookeeper操作

在node002或者node003或者node004上运行

zkCli.sh

ls /hadoop-ha/mycluster 查看临时文件

get /hadoop-ha/mycluster/ActiveStandbyElectorLock 查看临时文件的内容

退出zkCli.sh

quit

访问网址：node001:50070

5、停止集群：

首先

stop-dfs.sh

其次，停止zookeeper集群

node002、node003、node004上执行：

zkServer.sh stop

(后续步骤可以省略不看。自动启动集群的脚本)

写个脚本启动停止

touch start-ha.sh

chomd +x start-ha.sh

vim start-ha.sh

#!/bin/bash

for node in node002 node003 node004

do

ssh $node "source /etc/profile; zkServer.sh start"

done

start-dfs.sh

echo "-----------node001-jps-------------"

jps

for node in node002 node003 node004

do

echo "-------------$node-jps--------------"

ssh $node "source /etc/profile; jps"

done

保存退出

cp start-ha.sh stop-dfs.sh

vim start-ha.sh

#!/bin/bash

stop-dfs.sh

for node in node002 node003 node004

do

ssh $node "source /etc/profile; zkServer.sh stop"

done

echo "-----------node001-jps-------------"

jps

for node in node002 node003 node004

do

echo "-------------$node-jps--------------"

ssh $node "source /etc/profile; jps"

done

启动的时候就可以直接 ./stop-dfs.sh和./start-dfs.sh