本文具体介绍了如何配置Zookeeper集群,前面主要是一些理论知识,第五章是分布式集群安装的详细方法,跟着步骤来就可以了,关于Zookeeper的资料可以看这个资源
大数据技术之Zookeeper(最新版) 资料+笔记+源码集合,看完学会使用Zookeeper
一、基本概念
Zookeeper是一个为分布式应用提供一致性服务的软件,是Google的Chubby一个开源的实现,也是Hadoop和Hbase的重要组件。它主要用来解决分布式集群中应用系统的一致性问题,提供的功能包括配置维护、域名服务、分布式同步、组服务等。
二、特点
- 高效可靠:Zookeeper以Fast Paxos算法为基础,通过选举产生Leader来确保集群事务处理的顺序性和数据的一致性。同时,它提供了高可靠性和顺序性的保证,确保数据更新的原子性和实时性。
- 全局数据一致:每个Server保存一份相同的数据副本,客户端无论连接到哪个Server,数据都是一致的。
- 丰富的数据结构:Zookeeper的数据模型在结构上和标准文件系统的非常相似,拥有一个层次的命名空间,都是采用树形层次结构,每个节点被称为Znode。Znode兼具文件和目录两种特点,可以存储数据,也可以作为子节点的容器。
- Watcher机制:Zookeeper允许客户端向服务端注册一个Watcher监听,当服务端的一些事件触发了这个Watcher,就会向指定客户端发送一个事件通知来实现分布式的通知功能。
三、应用场景
Zookeeper在分布式系统中有许多应用场景,包括但不限于:
- 配置管理:管理分布式系统的配置信息,各个节点可以从Zookeeper中获取配置信息,当配置变化时,所有节点可以及时感知并进行相应调整。
- 命名服务:用作命名服务,类似于分布式的文件系统,允许应用程序在Zookeeper上创建、删除和查找节点,实现简单的命名空间管理。
- 分布式锁:提供分布式锁的支持,允许多个节点在共享资源上进行协调,避免并发访问冲突。
- 分布式队列:实现分布式队列,用于在多个节点之间传递消息和任务。
- 分布式选举:选举机制可以用来实现分布式系统中的Leader选举,确保在节点故障或变更时,集群中能够重新选举新的Leader。
四、内部实现原理
- 选举机制:Zookeeper集群中的所有节点都会通过一个Leader选举过程来选举出一个节点作为“领导者”(Leader),负责处理客户端请求并保持集群中各个节点之间的一致性。选举算法基于Paxos协议的Zab(ZooKeeper Atomic Broadcast)协议。
- 数据一致性:ZooKeeper通过顺序一致性、原子性、单一视图和同步机制等方式来保证数据的一致性。它使用基于Paxos协议的Zab协议来确保所有节点上的数据副本都是一致的。
五、分布式安装
1.集群规划
在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。
2.解压安装
上传安装包到/opt/software目录下
(1)解压Zookeeper安装包到/opt/module/目录下
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
(2)同步/opt/module/zookeeper-3.4.10目录内容到hadoop103、hadoop104
xsync zookeeper-3.4.10/
3.配置服务器编号
(1)在/opt/module/zookeeper-3.4.10/这个目录下创建zkData
[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir -p zkData
(2)在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件
[atguigu@hadoop102 zookeeper-3.4.10]$ cd zkData
[atguigu@hadoop102 zkData]$ touch myid
添加myid文件,注意一定要在linux里面创建,在notepad++里面很可能乱码
(3)编辑myid文件
[atguigu@hadoop102 zkData]$ vi myid
在文件中添加与server对应的编号:(直接写2就可以)
2
(4)拷贝配置好的zookeeper到其他机器上
[atguigu@hadoop102 zkData]$ xsync myid
并分别在hadoop102、hadoop103上修改myid文件中内容为3、4
4.配置zoo.cfg文件
(1)重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg
进入到/opt/module/zookeeper-3.4.10/conf目录下
[atguigu@hadoop102 conf]$ mv zoo_sample.cfg zoo.cfg
(2)打开zoo.cfg文件
[atguigu@hadoop102 conf]$ vim zoo.cfg
修改数据存储路径配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
(3)同步zoo.cfg配置文件
[atguigu@hadoop102 conf]$ xsync zoo.cfg
(4)配置参数解读
server.A=B:C:D。
A是一个数字,表示这个是第几号服务器,就是在配置文件中配置的,hadoop102配置的是2,hadoop103配置的是3,Hadoop104配置的是4
集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
B是这个服务器的ip地址;
C是这个服务器与集群中的Leader服务器交换信息的端口;
D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
这三台服务器上会选出一台作为Leader,其他的为follower
5.集群操作
(1)分别启动Zookeeper
一定要先把三台服务器上的Zookeeper都启动了之后再查看状态
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
[atguigu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start
(2)查看状态
可以看到选举Hadoop103的服务器为Leader
[atguigu@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[atguigu@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[atguigu@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower