Zookeeper 集群操作
集群操作
集群安装
1)集群规划
在 hadoop113、hadoop114 和 hadoop115 三个节点上都部署 Zookeeper。
2)解压安装步骤与本地模式一样，多的操作有：
(1) 在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件
vim myid
在文件中添加与 server 对应的编号(注意:上下不要有空行,左右不要有空格)
3
注意:添加 myid 文件,一定要在 Linux 里面创建
(2) 修改zoo.cfg文件，增加如下配置
#######################cluster##########################
server.3=hadoop113:2888:3888
server.4=hadoop114:2888:3888
server.5=hadoop115:2888:3888
(3) 拷贝配置好的 zookeeper 到其他机器上
[atguigu@hadoop102 module ]$ xsync zookeeper-3.5.7
并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 4、5
配置参数解读
server.A=B:C:D。
A 是一个数字,表示这个是第几号服务器;
集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
B 是这个服务器的地址;
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口;
D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
集群操作
(1)分别启动 Zookeeper(113,114,115)
bin/zkServer.sh start
(2)查看状态
[bd@hadoop113 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[bd@hadoop114 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader
[bd@hadoop115 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
选举机制
第一次启动选举
非第一次启动选举
ZK 集群启动停止脚本
1)在 hadoop113 的/home/atguigu/bin 目录下创建脚本，内容如下：
#!/bin/bash
case $1 in
"start"){
for i in hadoop113 hadoop114 hadoop115
do
echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
for i in hadoop113 hadoop114 hadoop115
do
echo ---------- zookeeper $i 停止 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
for i in hadoop113 hadoop114 hadoop115
do
echo ---------- zookeeper $i 状态 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac
2)增加脚本执行权限
- 脚本操作
zk.sh start
zk.sh stop
zk.sh status
客户端命令行操作
命令行语法
1)启动客户端
bin/zkCli.sh -server hadoop113:2181
2)显示所有操作命令
[zk: hadoop113:2181(CONNECTED) 1] help
znode 节点数据信息
1)查看当前znode中所包含的内容
ls /
[zookeeper]
2)查看当前节点详细数据
ls -s /
[zookeeper]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
(1)czxid:创建节点的事务 zxid
每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之
前发生。
(2)ctime:znode 被创建的毫秒数(从 1970 年开始)
(3)mzxid:znode 最后更新的事务 zxid
(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)
(5)pZxid:znode 最后更新的子节点 zxid
(6)cversion:znode 子节点变化号,znode 子节点修改次数
(7)dataversion:znode 数据变化号
(8)aclVersion:znode 访问控制列表的变化号
(9)ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点则是 0。
(10)dataLength:znode 的数据长度
(11)numChildren:znode 子节点数量
节点类型(持久/短暂/有序号/无序号)
1)分别创建2个普通节点(永久节点 + 不带序号),注意:创建节点时,要赋值
[zk: hadoop113:2181(CONNECTED) 3] create /sanguo "diaochan"
Created /sanguo
[zk: hadoop113:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo
[zk: hadoop113:2181(CONNECTED) 6] ls /
[sanguo, zookeeper]
[zk: hadoop113:2181(CONNECTED) 7] ls /sanguo
[shuguo]
2)获得节点的值
[zk: hadoop113:2181(CONNECTED) 10] get -s /sanguo
diaochan
cZxid = 0x300000002
ctime = Thu Aug 26 10:58:36 CST 2021
mZxid = 0x300000002
mtime = Thu Aug 26 10:58:36 CST 2021
pZxid = 0x300000003
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1
[zk: hadoop113:2181(CONNECTED) 11] get -s /sanguo/shuguo
liubei
cZxid = 0x300000003
ctime = Thu Aug 26 10:58:41 CST 2021
mZxid = 0x300000003
mtime = Thu Aug 26 10:58:41 CST 2021
pZxid = 0x300000003
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0
3)创建带序号的节点(永久节点 + 带序号)
[zk: hadoop113:2181(CONNECTED) 12] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo
[zk: hadoop113:2181(CONNECTED) 14] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000000
[zk: hadoop113:2181(CONNECTED) 15] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000001
[zk: hadoop113:2181(CONNECTED) 16] create -s /sanguo/weiguo/xuchu "xuchu"
Created /sanguo/weiguo/xuchu0000000002
[zk: hadoop113:2181(CONNECTED) 17] create -s /sanguo/weiguo/dianwei "dianwei"
Created /sanguo/weiguo/dianwei0000000003
如果原来没有序号节点,序号从 0 开始依次递增。如果原节点下已有 2 个节点,则再排序时从 2 开始,以此类推。
## 退出再重新回来之后各个节点没有被删除
4)创建短暂节点(短暂节点 + 不带序号 or 带序号)
[zk: hadoop113:2181(CONNECTED) 18] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo
[zk: hadoop113:2181(CONNECTED) 19] create -e -s /sanguo/wuguo "sunquan"
Created /sanguo/wuguo0000000003
[zk: hadoop113:2181(CONNECTED) 21] ls /sanguo
[shuguo, weiguo, wuguo, wuguo0000000003]
## 退出再重新回来之后wuguo节点被删除了
5)修改节点数据值
[zk: hadoop113:2181(CONNECTED) 2] set /sanguo/weiguo "simayi"
[zk: hadoop113:2181(CONNECTED) 3] get /sanguo/weiguo
simayi
[zk: hadoop113:2181(CONNECTED) 4] get -s /sanguo/weiguo
simayi
cZxid = 0x300000004
ctime = Thu Aug 26 11:00:30 CST 2021
mZxid = 0x30000000f
mtime = Thu Aug 26 11:07:13 CST 2021
pZxid = 0x300000009
cversion = 4
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 4
监听器原理
客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时,ZooKeeper 会通知客户端。监听机制保证 ZooKeeper 保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。
1)节点的值变化监听
(1)在 hadoop114 主机上注册监听/sanguo 节点数据变化
[zk: hadoop113:2181(CONNECTED) 1] get -w /sanguo
diaochan
(2)在 hadoop113 主机上修改/sanguo 节点的数据
[zk: hadoop113:2181(CONNECTED) 1] set /sanguo "xisi"
(3)观察 hadoop114 主机收到数据变化的监听
[zk: hadoop113:2181(CONNECTED) 2]
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo
注意:在hadoop113再多次修改/sanguo的值,hadoop114上不会再收到监听。因为注册一次,只能监听一次。想再次监听,需要再次注册。
2)节点的子节点变化监听(路径变化)
(1)在 hadoop114 主机上注册监听/sanguo 节点的子节点变化
[zk: hadoop113:2181(CONNECTED) 0] ls -w /sanguo
[shuguo, weiguo]
(2)在 hadoop113 主机/sanguo 节点上创建子节点
create /sanguo/jin "simayi"
(3)观察 hadoop104 主机收到子节点变化的监听
[zk: hadoop113:2181(CONNECTED) 1]
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo
节点删除与查看
[zk: localhost:2181(CONNECTED) 3] ls /sanguo
[jin, shuguo, weiguo]
1)删除节点
[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin
2)递归删除节点
[zk: localhost:2181(CONNECTED) 5] deleteall /sanguo/shuguo
[zk: localhost:2181(CONNECTED) 6] ls /sanguo
[weiguo]
3)查看节点状态
[zk: localhost:2181(CONNECTED) 7] stat /sanguo
cZxid = 0x300000002
ctime = Thu Aug 26 10:58:36 CST 2021
mZxid = 0x30000001a
mtime = Thu Aug 26 11:14:03 CST 2021
pZxid = 0x900000009
cversion = 11
dataVersion = 5
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1
客户端 API 操作
前提:保证 hadoop113、hadoop114、hadoop115 服务器上 Zookeeper 集群服务端启动。
IDEA 环境搭建
1)创建一个工程:zookeeper
2)添加pom文件
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>RELEASE</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.5.7</version>
</dependency>
</dependencies>
3)创建log4j.properties文件到项目根目录
需要在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在文件中填入
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
代码如下：
public class ZkClient {
// 注意逗号左右不能有空格
private String connectString = "hadoop113:2181,hadoop114:2181,hadoop115:2181";
private int sessionTimeout = 2000;
ZooKeeper zkClient;
@Before
public void init() throws IOException {
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
public void process(WatchedEvent watchedEvent)
// 以下代码和获取子节点并监听节点变化是一起的
System.out.println("--------------------------");
try {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException interruptedException) {
interruptedException.printStackTrace();
}
// 以上代码和获取子节点并监听节点变化是一起的
}
});
}
// 创建子节点
@Test
public void create() throws KeeperException, InterruptedException {
zkClient.create("/donghan", "lvbu".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
// 结果如下：
// [zk: localhost:2181(CONNECTED) 0] ls /
// [donghan, sanguo, zookeeper]
// 获取子节点并监听节点变化
@Test
public void getChildren() throws Exception {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
// 延时阻塞
Thread.sleep(Long.MAX_VALUE);
}
// ----------------------------------------------
// zookeeper
// sanguo
// donghan
// zookeeper
// sanguo
// donghan
// ----------------------------------------------
// xihan
// zookeeper
// sanguo
// donghan
// 判断 znode 是否存在
@Test
public void exist() throws Exception {
Stat stat1 = zkClient.exists("/qin", false);
System.out.println(stat1 == null ? "not exist" : "exist"); // not exist
Stat stat2 = zkClient.exists("/xihan", false);
System.out.println(stat2 == null ? "not exist" : "exist"); // exist
}
}
客户端向服务端写数据流程
写数据请求直接发送给Leader节点
Leader自己先写，写完让Follower去写。
只要有半数的节点写完了数据，就认为本次写数据成功了，此时Leader就可也以相应写请求了，剩余的节点继续完成数据的同步。
写数据请求发送给Follower节点
958
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
