Hadoop+Zookeeper高可用

基本概念:

  • ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

  • ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

  • ZooKeeper包含一个简单的原语集,[1]提供Java和C的接口。

  • ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本

  • ZooKeeper是以Fast Paxos算法为基础的,Paxos 算法存在活锁的问题,即当有多个proposer交错提交时,有可能互相排斥导致没有一个proposer能提交成功,而Fast Paxos作了一些优化,通过选举产生一个leader (领导者),只有leader才能提交proposer,具体算法可见Fast Paxos。因此,要想弄懂ZooKeeper首先得对Fast Paxos有所了解。

  • ZooKeeper的基本运转流程:
    1、选举Leader。
    2、同步数据。
    3、选举Leader过程中算法有很多,但要达到的选举标准是一致的。
    4、Leader要具有最高的执行ID,类似root权限。
    5、集群中大多数的机器得到响应并接受选出的Leader

实验环境

主机名ip角色
server1172.25.19.1namenode,DFSZKFailoverController(zookeeper故障切换主机,zk)
server2172.25.19.2JournalNode(jn) QuorumPeerMain DataNode (dn)
server3172.25.19.3JournalNode(jn) QuorumPeerMain DataNode (dn)
server4172.25.19.4JournalNode(jn) QuorumPeerMain DataNode (dn)
server5172.25.19.5namenode,DFSZKFailoverController(zookeeper故障切换主机,zk)

部署步骤:
在浏览器中查看,有两个datanode
在这里插入图片描述
在这里插入图片描述
1.将之前的服务关闭,清理数据
先停掉管理进程,再停掉分布式文件系统,最后删除数据目录下的内容
(server1-server4上都执行)
server1:

[hadoop@server1 hadoop]$ sbin/stop-yarn.sh
Stopping nodemanagers
Stopping resourcemanager
[hadoop@server1 hadoop]$ sbin/stop-dfs.sh
Stopping namenodes on [server1]
Stopping datanodes
Stopping secondary namenodes [server1]
[hadoop@server1 hadoop]$ jps
16273 Jps
[hadoop@server1 hadoop]$ 

[hadoop@server1 hadoop]$ rm -fr /tmp/*

在这里插入图片描述server2:
在这里插入图片描述
server3:
在这里插入图片描述

2.解压安装包,编辑文件,添加节点信息(必须是奇数个节点)

注意:123 只的是zk节点的id,在zk节点上的文件中id和这里要一致
2888是主从机之间的通信端口,3888做选举,选举端口

[hadoop@server2 ~]$ ls
[hadoop@server2 ~]$ tar zxf zookeeper-3.4.9.tar.gz 
[hadoop@server2 ~]$ ls
[hadoop@server2 ~]$ cd zookeeper-3.4.9
[hadoop@server2 zookeeper-3.4.9]$ cd conf
[hadoop@server2 conf]$ cp zoo_sample.cfg zoo.cfg
[hadoop@server2 conf]$ vim zoo.cfg 
server.1=172.25.19.2:2888:3888
server.2=172.25.19.3:2888:3888
server.3=172.25.19.4:2888:3888

在这里插入图片描述
在这里插入图片描述
3.创建一个新的虚拟机server4和server5配置nfs和hadoop

[root@server4 ~]# useradd -u 1000 hadoop
[root@server4 ~]# yum install -y nfs-utils
[root@server4 ~]# showmount -e server1
Export list for server1:
/home/hadoop *
[root@server4 ~]# mount 172.25.19.1:/home/hadoop/ /home/hadoop/
[root@server4 ~]# su - hadoop

在这里插入图片描述
server5同理,但是不需要做下面编辑配置文件的步骤

数据是同步的
(1)编辑worker文件

[hadoop@server4 ~]$ vim  hadoop/etc/hadoop/workers 
[hadoop@server4 ~]$ cat  hadoop/etc/hadoop/workers 
172.25.19.2
172.25.19.3
172.25.19.4

在这里插入图片描述
(2)修改存储节点的数量,编辑hdfs-site.xml文件

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

在这里插入图片描述

4.在三个节点(server2,server3,server4)配置相同
创建/tmp/zookeeper目录,并在目录中创建一个myid文件,写入一个唯一的数字,取值范围在1-255之间,并且myid中的数字要与zoo.cfg 文件中定义的数字一致,如:server.1对应的是172.25.19.2,也就是说server2的myid文件中写入的是1,其他以此类推

[hadoop@server2 ~]$ mkdir /tmp/zookeeper
[hadoop@server2 ~]$ echo 1 > /tmp/zookeeper/myid
[hadoop@server2 ~]$ ls /tmp/zookeeper/
myid
[hadoop@server2 ~]$ cat /tmp/zookeeper/myid 
1

在这里插入图片描述

[hadoop@server3 ~]$ mkdir /tmp/zookeeper
[hadoop@server3 ~]$ echo 2 > /tmp/zookeeper/myid

在这里插入图片描述

[hadoop@server4 ~]$ mkdir /tmp/zookeeper
[hadoop@server4 ~]$ echo 3 > /tmp/zookeeper/myid

在这里插入图片描述
5.开启服务(此处要注意命令执行时的路径必须是zookeeper-3.4.9/)

[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

在这里插入图片描述

[hadoop@server3 ~]$ cd zookeeper-3.4.9
[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh start

在这里插入图片描述

[hadoop@server4 ~]$ cd zookeeper-3.4.9
[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh start

在这里插入图片描述
查看状态

[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower    ##从

在这里插入图片描述

[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader      ##主

在这里插入图片描述

[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg  
Mode: follower    ##从

在这里插入图片描述
6.server2连接 zookeeper,进入zookeeper命令行

[hadoop@server2 zookeeper-3.4.9]$ cd bin
[hadoop@server2 bin]$ ls
[hadoop@server2 bin]$ pwd
/home/hadoop/zookeeper-3.4.9/bin
[hadoop@server2 bin]$ ./zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /zookeeper
[quota]
[zk: localhost:2181(CONNECTED) 2] ls /zookeeper/quota
[]
[zk: localhost:2181(CONNECTED) 3] get /zookeeper/quota

cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0
[zk: localhost:2181(CONNECTED) 4] 

在这里插入图片描述
在这里插入图片描述
7.配置hadoop(server1上)

[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ cd etc/hadoop/

(1)编辑core-site.xml 文件,指定hdfs的namenode为masters
直接指定1不合理,做一个影射 http://masters

[hadoop@server1 hadoop]$ vim core-site.xml 

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://masters</value>  //namenode作为masters,名字是自定义的
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>172.25.19.2:2181,172.25.19.3:2181,172.25.19.4:2181</value>
        </property>
</configuration>

在这里插入图片描述
(2)编辑hdfs-site.xml文件
这个文件中指定的名字一定要和刚才的文件中指定的映射一致

[hadoop@server1 hadoop]$ vim hdfs-site.xml
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>    //datanode存储节点的个数
        </property>

        <property>
                <name>dfs.nameservices</name>
                <value>masters</value>    //指定 hdfs的 nameservices为 masters,和 core-site.xml 文件中的设置保持一 致
        </property>

        <property>
                <name>dfs.ha.namenodes.masters</name>
                <value>h1,h2</value>  // masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义) 
        </property>

        <property>
                <name>dfs.namenode.rpc-address.masters.h1</name>
                <value>172.25.19.1:9000</value>     // 指定 h1 节点的 rpc 通信地址 
        </property>

	<property>
                <name>dfs.namenode.http-address.masters.h1</name>
                <value>172.25.19.1:9870</value>   //指定 h1 节点的 http 通信地址 
        </property>

        <property>
                <name>dfs.namenode.rpc-address.masters.h2</name>
                <value>172.25.19.5:9000</value>  //指定 h2 节点的 rpc 通信地址 
        </property>

        <property>
                <name>dfs.namenode.http-address.masters.h2</name>
                <value>172.25.19.5:9870</value>指定 h2 节点的 http通信地址 
        </property>

        <property>
                <name>dfs.namenode.shared.edits.dir</name>  //指定 NameNode 元数据在 JournalNode 上的存放位置
                <value>qjournal://172.25.19.2:8485;172.25.19.3:8485;172.25.19.4:8485/masters</value>
        </property>

        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/tmp/journaldata</value>   //指定 JournalNode 在本地磁盘存放数据的位置 
        </property>

        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>   //开启 NameNode 失败自动切换 
        </property>
        
        <property>
                <name>dfs.client.failover.proxy.provider.masters</name>  // 配置失败自动切换实现方式 
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        
        <property>
                <name>dfs.ha.fencing.methods</name>  //配置隔离机制方法,每个机制占用一行
                <value>
                sshfence
                shell(/bin/true)
                </value>
        </property>
        
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/home/hadoop/.ssh/id_rsa</value>   // 使用 sshfence 隔离机制时需要 ssh 免密码 
        </property>
        
        <property>
                <name>dfs.ha.fencing.ssh.connect-timeout</name>
                <value>30000</value>   // 配置 sshfence 隔离机制超时时间 
        </property>
</configuration>

8.免密测试 将所有的yes都刷掉

[hadoop@server1 hadoop]$ ssh server5
[hadoop@server1 hadoop]$ ssh 172.25.19.5
[hadoop@server1 hadoop]$ ssh 172.25.19.4
[hadoop@server1 hadoop]$ ssh server4

在这里插入图片描述
在这里插入图片描述
9.在集群中启动jn
注意:一定要按照顺序启动,在启动hdfs之前必须启动jn,首次初始化jn要手动开启
server2:

[hadoop@server2 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server2 hadoop]$ jps
13188 JournalNode
13206 Jps
12846 QuorumPeerMain

server3:

[hadoop@server3 ~]$ cd hadoop
[hadoop@server3 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server3 hadoop]$ jps
12818 QuorumPeerMain
12953 JournalNode
12971 Jps

server4:

[hadoop@server4 ~]$ cd hadoop
[hadoop@server4 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server4 hadoop]$ jps
11899 Jps
11885 JournalNode
11758 QuorumPeerMain

10.srver1初始化

[hadoop@server1 hadoop]$ bin/hdfs namenode -format

在这里插入图片描述
(1)将/tmp/hadoop-hadoop/复制给server5的/tmp目录下,Namenode 数据默认存放在/tmp,为了让h1和h2数据一致需要把数据拷贝到 h2

[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop/ 172.25.19.5:/tmp
VERSION                                   100%  215     0.2KB/s   00:00    
seen_txid                                 100%    2     0.0KB/s   00:00    
fsimage_0000000000000000000.md5           100%   62     0.1KB/s   00:00    
fsimage_0000000000000000000               100%  391     0.4KB/s   00:00    

在这里插入图片描述
(2)格式化 zookeeper(只需要再server1上做)

[hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK

在这里插入图片描述
(3)启动 hdfs 集群(只需要在server1上做)

[hadoop@server1 hadoop]$ sbin/start-dfs.sh
Starting namenodes on [server1 server5]
Starting datanodes
Starting journal nodes [172.25.19.2 172.25.19.3 172.25.19.4]
172.25.19.3: journalnode is running as process 12953.  Stop it first.
172.25.19.2: journalnode is running as process 13188.  Stop it first.
172.25.19.4: journalnode is running as process 11885.  Stop it first.
Starting ZK Failover Controllers on NN hosts [server1 server5]

在这里插入图片描述
(4)查看每个节点状态
server1:

[hadoop@server1 hadoop]$ jps
17002 DFSZKFailoverController
16653 NameNode
17053 Jps

在这里插入图片描述
server5

[hadoop@server5 ~]$ jps
12128 Jps
12033 DFSZKFailoverController
11971 NameNode

在这里插入图片描述
server2:

[hadoop@server2 hadoop]$ jps
13314 DataNode
13188 JournalNode
13430 Jps
12846 QuorumPeerMain

在这里插入图片描述
server3:

[hadoop@server3 hadoop]$ jps
12818 QuorumPeerMain
13078 DataNode
12953 JournalNode
13195 Jps

在这里插入图片描述
server4:

[hadoop@server4 hadoop]$ jps
12055 DataNode
11885 JournalNode
12173 Jps
11758 QuorumPeerMain

在这里插入图片描述
11.浏览器中访问172.25.19.1:9870
可以看到server1的状态是active

在这里插入图片描述
访问172.25.19.5:9870
可以看到server5的是standby

在这里插入图片描述
12.测试单点故障
(1)杀死server1的namenode进程

[hadoop@server1 hadoop]$ kill -9 16653

在这里插入图片描述
(2)浏览器中刷新,server5接管为active,server1访问不到
在这里插入图片描述

(3)重新开启server1的namenode:

[hadoop@server1 hadoop]$ sbin/hadoop-daemon.sh start namenode
WARNING: Use of this script to start HDFS daemons is deprecated.
WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

在这里插入图片描述
namenode服务起来了

[hadoop@server1 hadoop]$ jps
17002 DFSZKFailoverController
17162 NameNode
17243 Jps

在这里插入图片描述
(4)浏览器中查看172.25.19.1:9870
server1是standby
在这里插入图片描述
补充:
1.整个集群在关闭的时候正常关闭就可以,但是启动之前必须先启动zk集群
2.在部署的过程中如果集群出现问题一定要先关闭服务,然后再进行修改,修改后重启服务即可
3.所有的额配置文件中都不要出现汉字,否则会出现问题
4.server1的namenode关闭时,仍然可以上传文件,并且上传的文件在浏览器重视可以查看到的(这一步这里就不再演示)

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值