greenplum配置高可用_高可用hadoop集群配置就收藏这一篇，动手搭建Hadoop（5）

01 ssh免密安装

02 jdk安装

03 hadoop伪分布式安装

04 hadoop全分布式

完成了前面四步，现在做hadoop的高可用。其实和之前的lvs的高可用差不多的。如果我们有两个namenode节点，分别是node01和node02。假设node01是主节点，node02是从节点，当node01挂掉了以后，node02自动成为主节点。这里通过zookeeper的方式来实现，node01，node02都会注册到zookeeper当中，由zookeeper来实现高可用。文章有点长先收藏再阅读，开始。

准备

node01(192.168.146.101)：namenode01 ，ZKFC，JNN(journalnode)

node02(192.168.146.102)：namenode02，datanode，zookeeper，ZKFC，JNN

node03(192.168.146.103): datanode, zookeeper, JNN

node04(192.168.146.104): datanode,zookeeper,

hadoop配置修改

修改hadoop_env.sh 文件

在原来的基础上指定ZKFC 和journalnode 两个进程的角色，这里注意我们之前用到的从节点sencondarynamenode现在用不着了，可以remark起来。

cd /usr/hadoop-3.1.2/etc/hadoop

export JAVA_HOME=/usr/java/jdk-12.0.1

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

#export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_ZKFC_USER=root

export HDFS_JOURNALNODE_USER=root

修改core-site.xml 文件

只用修改临时文件的目录即可，原来指向full现在建立一个新目录指向ha

vi core-site.xml

fs.defaultFS

hdfs://node01:9820

hadoop.tmp.dir

/var/hadoop/ha

修改hdfs-site.xml 文件

由于原先所有的datanode都需要和一个namenode做关联，现在做高可用需要让datanode和多个namenode做关联。因此，需要给namenode起一个logic name。同时需要配置两个namenode服务器(node01，node02)对应的rpc和httpaddress的信息。两个namenode进行同步的配置，这里需要指定journalnode服务器的地址。以及故障转移的代理类。

vi hdfs-site.xml

dfs.replication

3

#逻辑namenode 名字

dfs.nameservices

mycluster

#配置两个namenode服务器

dfs.ha.namenodes.mycluster

nn1,nn2

#配置rpc的调用

dfs.namenode.rpc-address.mycluster.nn1

node01:8020

dfs.namenode.rpc-address.mycluster.nn2

node02:8020

#配置http address

dfs.namenode.http-address.mycluster.nn1

node01:9870

dfs.namenode.http-address.mycluster.nn2

node02:9870

#配置journalnode节点

dfs.namenode.shared.edits.dir

qjournal://node01:8485;node02:8485;node03:8485/mycluster

#配置故障转移的调用

dfs.client.failover.proxy.provider.mycluster

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

#故障隔离 当一个从节点即将要成为主节点的时候，会通知原来的主节点使之成为从节点。

dfs.ha.fencing.methods

sshfence

#故障隔离需要的私钥的地址

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

#配置journalnode的存储地址

dfs.journalnode.edits.dir

/var/hadoop/ha/journalnode

dfs.ha.automatic-failover.enabled

true

再回到core-site.xml文件的配置

原来配置的是一个固定的主节点的名字，现在需要使用逻辑的namenode的服务名称，也就是我们在上面hdfs-site.xml中定义的 mycluster 这个名字。以及对zookeeper集群的配置。

fs.defaultFS

hdfs://mycluster

ha.zookeeper.quorum

node02:2181,node03:2181,node04:2181

分发core-site.xml hdfs-site.xml 和 hadoop-env.sh 三个文件到其他三个服务器(node02，node03，node04)

scp core-site.xml hdfs-site.xml hadoop-env.sh node02:`pwd`

scp core-site.xml hdfs-site.xml hadoop-env.sh node03:`pwd`

scp core-site.xml hdfs-site.xml hadoop-env.sh node04:`pwd`

安装配置zookeeper

由于我们之前定义的zookeeper的安装是在node02，node03，node04三个服务器。所以copy下载zookeeper的安装包。对其进行解压。这里我把zk放到/usr 这个目录下面了。

tar xf zookeeper-3.4.6.tar.gz -C /usr/

配置环境变量

export ZOOKEEPER_HOME=/usr/zookeeper-3.4.6

PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

再将这个配置分发到其余的两个服务器node03，node04

scp /etc/profile node03:/etc/profile

scp /etc/profile node04:/etc/profile

source /etc/profile

修改zoo.cfg，指定文件存放地址；并且告之参与zk集群的端口的具体信息

cd /usr/zookeeper-3.4.6/conf

mv zoo_sample.cfg zoo.cfg

vi zoo.cfg

dataDir=/var/zookeeper

server.1=node02:2888:3888

server.2=node03:2888:3888

server.3=node04:2888:3888

分发zk到node02，node03

scp -r zookeeper-3.4.6/ node03:`pwd`

scp -r zookeeper-3.4.6/ node04:`pwd`

在三个节点创建zk的存储文件

mkdir /var/zookeeper

指定每个节点对应的服务器的名称根据zoo.cfg中的定义

server.1=node02

server.2=node03

server.3=node04

所以在node02中执行

echo 1 > /var/zookeeper/myid

所以在node03中执行

echo 2 > /var/zookeeper/myid

所以在node04中执行

echo 3 > /var/zookeeper/myid

启动zookeeper

分别在node02，node03，node04上运行zookeeper，并且查看启动后的状态。

zkServer.sh start

zkServer.sh status

可以看到node04作为leader，node02和node03都是follower。

启动journalnode 节点

我配置了三个journalnode节点，分别是node01，node02，node03.所以在这三个节点分别执行以下指令。

hdfs --daemon start journalnode

启动以后会在对应的目录下面生成存储edits持久化文件的目录。这个目录我配置到了/var/hadoop/ha，在前面的cord-site.xml 中有说明。

针对主节点，node01，node02 进行namenode的格式化。这里我们选择node01进行格式化，然后启动namenode做为主节点。再到node02上面去同步node01上面的数据，这样node01是active node02是standby，node02上面同步了node01的namenode的数据，一旦node01无法使用了，node02会变成active状态接替node01的工作。

node01操作

hdfs namenode -format

hdfs --daemon start namenode

node02操作

hdfs namenode -bootstrapStandby

这样node02就把node01的namenode数据同步过来了。

可以到 /var/hadoop/ha/dfs/name 下面的VERSION文件中检查两个节点的clusterID是否相同。

初始化zookeeper

zookeeper需要注册两个主从节点，node01，node02.注册以后当一个节点服务down机或者和zookeeper失去联系了，那么另外一个节点就会接替主节点的位置成为active状态。

ps:可以通过 zkCli.sh 命令打开zookeeper客户端查看zookeeper情况。

node01上运行

hdfs zkfc -formatZK

启动hadoop集群

到node01节点上启动集群

start-dfs.sh

运行完命令以后打开zookeeper客户端，查看

zkCli.sh

ls /hadoop-ha/mycluster

我们看到在myclusert这个集群下面多了两个节点，这两个节点就是zookeeper注册的主从节点，node01，node02。可以通过以下命令查看两个节点的状态。

get /hadoop-ha/mycluster/ActiveBreadCrumb

get /hadoop-ha/mycluster/ActiveStandbyElectorLock

测试高可用效果

去网站看看结果。在浏览器输入192.168.146.101:9870 和 192.168.146.102:9870

node01是active，node02是standby

然后把node01的namenode关掉。

到node01节点上运行

hdfs --daemon stop namenode

可以看到node01无法访问了，这个时候node02成为active状态，依旧可以提供访问。

到此hadoop高可用的配置和启动过程就完毕了。