一篇文章搞定大数据Zookeeper,让你少走很多弯路_zookeeper version-2目录很大

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

(1)配置JDK环境变量(不是必须的)

export JAVA_HOME=/opt/module/jdk1.8.0_181

(2)在57行配置日志文件地址:

 ZOO_LOG_DIR="/opt/module/zookeeper-3.4.10/logs"

  1. 把配置好的hadoop101分发到hadoop102、hadoop103中,并且更改myid的编号分别为2、3
[zhangyong@hadoop101 module]$ xsync zookeeper-3.4.10/
[zhangyong@hadoop102 zkData]$ echo 2 > myid
[zhangyong@hadoop103 zkData]$ echo 3 > myid

  1. 配置参数解读

server.A=B:C:D。

A是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

B是这个服务器的地址;

C是这个服务器Follower与集群中的Leader服务器交换信息的端口;

D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
7. 集群操作

(1)分别启动Zookeeper:

​ 先启动一台并查看状态:

[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
[zhangyong@hadoop101 zookeeper-3.4.10]$ jps
1520 QuorumPeerMain
1576 Jps

由上面结果显示可知:zookeeper启动起来了,但是状态错误,因为我们说过集群的zookeeper必须启动台数的一般以上才可以。我们继续启动其他机子再来查看:

(2)启动其他的zookeeper:

[zhangyong@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[zhangyong@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[zhangyong@hadoop102 zookeeper-3.4.10]$ jps
1607 QuorumPeerMain
1676 Jps

[zhangyong@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[zhangyong@hadoop103 zookeeper-3.4.10]$
[zhangyong@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[zhangyong@hadoop103 zookeeper-3.4.10]$ jps
1858 Jps
1795 QuorumPeerMain

由此:zookeeper集群启动完成。

3.2 常用的客户端命令行操作(增删改查)
命令基本语法功能描述
help显示所有操作命令
ls path [watch]使用 ls 命令来查看当前znode中所包含的内容
ls2 path [watch]查看当前节点数据并能看到更新次数等数据
create普通创建 -s 含有序列 -e 临时(重启或者超时消失)
get path [watch]获得节点的值
set设置节点的具体值
stat查看节点状态
delete删除节点
rmr递归删除节点
  1. 启动客户端
[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkCli.sh

2.显示所有操作命令

[zk: localhost:2181(CONNECTED) 1] help

3.查看当前znode中所包含的内容

[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper]

4.查看当前节点详细数据

[zk: localhost:2181(CONNECTED) 3] ls2 /
[zookeeper]
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0

5.分别创建2个普通节点

[zk: localhost:2181(CONNECTED) 3] create /zhangyong "hahaha"
Created /zhangyong
[zk: localhost:2181(CONNECTED) 4] create /zhangyong/zhangsan "lisi"
Created /zhangyong/zhangsan

6.获得节点的值

[zk: localhost:2181(CONNECTED) 5] get /zhangyong
hahaha
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000003
mtime = Wed Aug 29 00:03:23 CST 2018
pZxid = 0x100000004
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 1

[zk: localhost:2181(CONNECTED) 6] get /zhangyong/zhangsan
lisi
cZxid = 0x100000004
ctime = Wed Aug 29 00:04:35 CST 2018
mZxid = 0x100000004
mtime = Wed Aug 29 00:04:35 CST 2018
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

7.创建短暂节点

[zk: localhost:2181(CONNECTED) 7] create -e /zhangyong/zhangsan "zhang"
Created /zhangyong/zhangsan

(1)在当前客户端是能查看到的

[zk: localhost:2181(CONNECTED) 3] ls /zhangyong 
[zhangsan, zhangsan]

(2)退出当前客户端然后再重启客户端

[zk: localhost:2181(CONNECTED) 12] quit
[zhangyong@hadoop101 zookeeper-3.4.10]$ bin/zkCli.sh

(3)再次查看根目录下短暂节点已经删除

[zk: localhost:2181(CONNECTED) 0] ls /zhangyong
[zhangyong]

8.创建带序号的节点

​ (1)先创建一个普通的根节点/zhangyong/weiguo

[zk: localhost:2181(CONNECTED) 1] create /zhangyong/weiguo "caoyu"
Created /zhangyong/weiguo

​ (2)创建带序号的节点

[zk: localhost:2181(CONNECTED) 2] create -s /sanguo/weiguo/xiaoqiao "jinlian"
Created /sanguo/weiguo/xiaoqiao0000000000
[zk: localhost:2181(CONNECTED) 3] create -s /sanguo/weiguo/daqiao "jinlian"
Created /sanguo/weiguo/daqiao0000000001
[zk: localhost:2181(CONNECTED) 4] create -s /sanguo/weiguo/diaocan "jinlian"
Created /sanguo/weiguo/diaocan0000000002

如果原来没有序号节点,序号从0开始依次递增。如果原节点下已有2个节点,则再排序时从2开始,以此类推。

9.修改节点数据值

[zk: localhost:2181(CONNECTED) 6] set /sanguo/weiguo "simayi"

10.节点的值变化监听

​ (1)在hadoop104主机上注册监听/sanguo节点数据变化

[zk: localhost:2181(CONNECTED) 26] [zk: localhost:2181(CONNECTED) 8] get /sanguo watch

​ (2)在hadoop103主机上修改/sanguo节点的数据

[zk: localhost:2181(CONNECTED) 1] set /sanguo "xisi"

​ (3)观察hadoop103主机收到数据变化的监听

WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

11.节点的子节点变化监听(路径变化)

​ (1)在hadoop103主机上注册监听/sanguo节点的子节点变化

[zk: localhost:2181(CONNECTED) 1] ls /sanguo watch
[aa0000000001, server101]

​ (2)在hadoop102主机/sanguo节点上创建子节点

[zk: localhost:2181(CONNECTED) 2] create /sanguo/jin "simayi"
Created /sanguo/jin

​ (3)观察hadoop103主机收到子节点变化的监听

WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

12.删除节点

[zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin

13.递归删除节点

[zk: localhost:2181(CONNECTED) 15] rmr /sanguo/shuguo

14.查看节点状态

[zk: localhost:2181(CONNECTED) 17] stat /sanguo
cZxid = 0x100000003
ctime = Wed Aug 29 00:03:23 CST 2018
mZxid = 0x100000011
mtime = Wed Aug 29 00:21:23 CST 2018
pZxid = 0x100000014
cversion = 9
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 1

3.3 API应用
  1. IDEA环境搭建一个Maven工程
  2. 添加pom文件
<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <version>2.8.2</version>
    </dependency>
    <!-- zookeeper3.4.10 -->
    <dependency>
      <groupId>org.apache.zookeeper</groupId>
      <artifactId>zookeeper</artifactId>
      <version>3.4.10</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>compile</scope>
    </dependency>
  </dependencies>

  1. 拷贝log4j.properties文件到项目根目录
  • 需要在项目的resources目录下,创建“log4j.properties”,在文件中填入。
log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n 

  1. 编写Java代码
/\*\*
 \* @Author zhangyong
 \* @Date 2020/3/18 0:18
 \* @Version 1.0
 \*/
public class zkCli {
    private static String connectString = "hadoop101:2181,hadoop102:2181,hadoop103:2181";
    private static int sessionTimeout = 2000;
    private ZooKeeper zkClient = null;

    /\*\*
 \* 创建ZooKeeper客户端
 \* @throws Exception
 \*/
    public void init() throws Exception {
        zkClient = new ZooKeeper (connectString, sessionTimeout, new Watcher () {
            @Override
            public void process(WatchedEvent event) {
                // 收到事件通知后的回调函数(用户的业务逻辑)
                System.out.println (event.getType () + "--" + event.getPath ());
                // 再次启动监听
                try {
                    zkClient.getChildren ("/", true);
                } catch (Exception e) {
                    e.printStackTrace ();
                }
            }
        });
    }

    /\*\*
 \* 创建子节点
 \* @throws Exception
 \*/
    @Test
    public void create() throws Exception {
        // 参数1:要创建的节点的路径; 参数2:节点数据 ; 参数3:节点权限 ;参数4:节点的类型
        String nodeCreated = zkClient.create ("/zhangyong", "zhangrui".getBytes (), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

    /\*\*
 \* 获取子节点并监听节点变化
 \* @throws Exception
 \*/
    @Test
    public void getChildren() throws Exception {
        List<String> children = zkClient.getChildren ("/", true);
        for (String child : children) {
            System.out.println (child);
        }
        // 延时阻塞
        Thread.sleep (Long.MAX_VALUE);
    }

    /\*\*
 \* 判断znode是否存在
 \* @throws Exception
 \*/
    @Test
    public void exist() throws Exception {
        Stat stat = zkClient.exists("/zhangyong", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }
    
}

3.4 监听服务器节点动态上下线案例(扩展)
  1. 需求
  • 某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。
  • 客户端能实时洞察到服务器上下线的变化
  1. 具体实现

(1)先在集群上创建/servers节点

[zk: localhost:2181(CONNECTED) 10] create /servers "servers"
Created /servers

(2)服务器端向Zookeeper注册代码

package com.zhangyong.zookeeper;
/\*\*
 \* @Author zhangyong
 \* @Date 2020/3/18 0:18
 \* @Version 1.0
 \*/
public class DistributeServer {
    private static String connectString = "hadoop101:2181,hadoop102:2181,hadoop103:2181";
    private static int sessionTimeout = 2000;
    private ZooKeeper zk = null;
    private String parentNode = "/servers";
    // 创建到zk的客户端连接
    public void getConnect() throws IOException {
        zk = new ZooKeeper (connectString, sessionTimeout, new Watcher () {
            @Override
            public void process(WatchedEvent event) {
            }
        });
    }
    // 注册服务器
    public void registServer(String hostname) throws Exception {
        String create = zk.create (parentNode + "/server", hostname.getBytes (), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        System.out.println (hostname + " is online " + create);
    }
    // 业务功能
    public void business(String hostname) throws Exception {
        System.out.println (hostname + " is working ...");
        Thread.sleep (Long.MAX_VALUE);
    }
    public static void main(String[] args) throws Exception {
	// 1获取zk连接
        DistributeServer server = new DistributeServer ();
        server.getConnect ();
        // 2 利用zk连接注册服务器信息
        server.registServer (args[0]);
        // 3 启动业务功能
        server.business (args[0]);
    }
}

(2)客户端代码

/\*\*
 \* @Author zhangyong
 \* @Date 2020/3/18 0:18
 \* @Version 1.0
 \*/
public class DistributeClient {

	private static String connectString = "hadoop101:2181,hadoop102:2181,hadoop103:2181";
	private static int sessionTimeout = 2000;
	private ZooKeeper zk = null;
	private String parentNode = "/servers";

	// 创建到zk的客户端连接
	public void getConnect() throws IOException {
		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
				// 再次启动监听
				try {
					getServerList();
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
		});
	}

	// 获取服务器列表信息
	public void getServerList() throws Exception {
		// 1获取服务器子节点信息,并且对父节点进行监听
		List<String> children = zk.getChildren(parentNode, true);
        // 2存储服务器信息列表
		ArrayList<String> servers = new ArrayList<>();
        // 3遍历所有节点,获取节点中的主机名称信息
		for (String child : children) {
			byte[] data = zk.getData(parentNode + "/" + child, false, null);
			servers.add(new String(data));
		}
        // 4打印服务器列表信息
		System.out.println(servers);
	}

	// 业务功能
	public void business() throws Exception{
		System.out.println("client is working ...");
Thread.sleep(Long.MAX_VALUE);
	}

	public static void main(String[] args) throws Exception {
		// 1获取zk连接
		DistributeClient client = new DistributeClient();
		client.getConnect();
		// 2获取servers的子节点信息,从中获取服务器信息列表
		client.getServerList();
		// 3业务进程启动
		client.business();
	}
}

第4章 Zookeeper内部原理
4.1 节点类型
  • 持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除
  • 短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除
  • 说明:创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。
  • 注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序

(1)持久化目录节点

  • 客户端与Zookeeper断开连接后,该节点依旧存在

(2)持久化顺序编号目录节点

  • 客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号

(3)临时目录节点

  • 客户端与Zookeeper断开连接后,该节点被删除

(4)临时顺序编号目录节点

  • 客户端与Zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号。
4.2 Stat结构体
  1. czxid-创建节点的事务zxid

    • 每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。
    • 事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。
  2. ctime - znode被创建的毫秒数(从1970年开始)

  3. mzxid - znode最后更新的事务zxid

  4. mtime - znode最后修改的毫秒数(从1970年开始)

  5. pZxid-znode最后更新的子节点zxid

  6. cversion - znode子节点变化号,znode子节点修改次数

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号。

4.2 Stat结构体
  1. czxid-创建节点的事务zxid

    • 每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。
    • 事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。
  2. ctime - znode被创建的毫秒数(从1970年开始)

  3. mzxid - znode最后更新的事务zxid

  4. mtime - znode最后修改的毫秒数(从1970年开始)

  5. pZxid-znode最后更新的子节点zxid

  6. cversion - znode子节点变化号,znode子节点修改次数

[外链图片转存中…(img-bpI5TOAe-1715723512179)]
[外链图片转存中…(img-YZTXM05H-1715723512180)]
[外链图片转存中…(img-98tHpwBT-1715723512180)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值