Golang 操作 Zookeeper

最新推荐文章于 2024-09-02 08:43:07 发布
最新推荐文章于 2024-09-02 08:43:07 发布
阅读量458 收藏 1
点赞数
分类专栏： golang 文章标签： zookeeper golang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38846160/article/details/130671435
版权

Golang 操作 Zookeeper

完整的源码地址：https://github.com/xuqil/experiments/tree/main/zookeeper-client

go-zookeeper 库地址：https://pkg.go.dev/github.com/go-zookeeper/zk@v1.0.3

连接 Zookeeper

conn, _, err := zk.Connect([]string{"192.168.122.20:2181", "192.168.122.21:2181", "192.168.122.22:2181"},
		5*time.Second)

对 Zookeeper 的 CRUD

// getPath 获取 path 的 data 和 stat
// Cmd: get -s /path
func getPath(t *testing.T, conn *zk.Conn, path string) ([]byte, *zk.Stat) {
	data, stat, err := conn.Get(path)
	if err != nil {
		t.Fatal(err)
	}
	return data, stat
}

// deletePath 删除指定的 path，如果 path 下还有 children path，会删除失败
// Cmd: delete  /path
func deletePath(t *testing.T, conn *zk.Conn, path string) {
	_, stat, err := conn.Get(path)
	if err != nil {
		t.Fatal(err)
	}

	// version是用于 CAS支持，可以通过此种方式保证原子性
	if err := conn.Delete(path, stat.Version); err != nil {
		t.Fatal(err)
	}
}

// modifyData 修改节点的值
func modifyData(t *testing.T, conn *zk.Conn, path string, data []byte) {
	// 获取 path 的属性
	_, stat, err := conn.Get(path)
	if err != nil {
		t.Fatal(err)
	}
	stat, err = conn.Set(path, data, stat.Version)
	if err != nil {
		t.Fatal(err)
	}
}

// createPath 创建节点
func createPath(t *testing.T, conn *zk.Conn, path string, data []byte, flags int32) string {
	// 获取访问控制权限
	acl := zk.WorldACL(zk.PermAll)
	res, err := conn.Create(path, data, flags, acl)
	if err != nil {
		t.Fatal(err)
	}
	return res
}

CRUD 的测试示例

// TestCreatePersistentPath 创建一个持久化节点：/path1
// Cmd: create /path1
func TestCreatePersistentPath(t *testing.T) {
	conn := initConn(t)
	defer conn.Close()

	// flags有4种取值：
	// 0: 永久，除非手动删除
	// zk.FlagEphemeral = 1: 短暂，session断开则该节点也被删除
	// zk.FlagSequence  = 2: 会自动在节点后面添加序号
	// 3: Ephemeral和Sequence，即，短暂且自动添加序号
	var flags int32 = 0
	path := "/path1"
	res := createPath(t, conn, path, []byte("data"), flags)
	assert.Equal(t, path, res)

	// 持久化的 path 需要显式删除
	deletePath(t, conn, path)
}

// TestCreateEphemeralPath 创建一个临时节点：/path2
// Cmd: create -e /path2
func TestCreateEphemeralPath(t *testing.T) {
	conn := initConn(t)
	defer conn.Close()

	var flags int32 = zk.FlagEphemeral
	// 创建临时节点，连接断开后会自动删除
	path := "/path2"
	data := []byte("ephemeral")
	res := createPath(t, conn, path, []byte("ephemeral"), flags)
	assert.Equal(t, path, res)

	// 获取刚刚创建的临时节点
	resData, stat := getPath(t, conn, path)
	assert.Equal(t, data, resData)
	t.Logf("stat:%+v\n", *stat)
}

// TestCreatePersistentPathWithSequence 创建一个带序号的持久化节点：/path3
// Cmd: create -s /path3
func TestCreatePersistentPathWithSequence(t *testing.T) {
	conn := initConn(t)
	defer conn.Close()

	// flags有4种取值：
	// 0: 永久，除非手动删除
	// zk.FlagEphemeral = 1: 短暂，session断开则该节点也被删除
	// zk.FlagSequence  = 2: 会自动在节点后面添加序号
	// 3: Ephemeral和Sequence，即，短暂且自动添加序号
	var flags int32 = zk.FlagSequence
	path := "/path3"
	data := []byte("data")

	// 第一次创建
	res := createPath(t, conn, path, data, flags)
	assert.True(t, strings.HasPrefix(res, path))
	// 持久化的 path 需要显式删除
	deletePath(t, conn, res)

	// 第二次创建
	res = createPath(t, conn, path, data, flags)
	assert.True(t, strings.HasPrefix(res, path))
	// 持久化的 path 需要显式删除
	deletePath(t, conn, res)
}

// TestCreateEphemeralPathWithSequence 创建一个临时节点：/path4
// Cmd: create -e -s /path4
func TestCreateEphemeralPathWithSequence(t *testing.T) {
	conn := initConn(t)
	defer conn.Close()

	// flags有4种取值：
	// 0: 永久，除非手动删除
	// zk.FlagEphemeral = 1: 短暂，session断开则该节点也被删除
	// zk.FlagSequence  = 2: 会自动在节点后面添加序号
	// 3: Ephemeral和Sequence，即，短暂且自动添加序号
	var flags int32 = 3
	// 创建临时节点，连接断开后会自动删除
	path := "/path4"
	data := []byte("ephemeral")

	// 第一次创建
	res := createPath(t, conn, path, data, flags)
	assert.True(t, strings.HasPrefix(res, path))

	// 第二次创建
	res = createPath(t, conn, path, data, flags)
	assert.True(t, strings.HasPrefix(res, path))
}

// TestModifyPathData 修改指定 path 的值
// Cmd: set /path "new data"
func TestModifyPathData(t *testing.T) {
	conn := initConn(t)
	defer conn.Close()

	// flags有4种取值：
	// 0: 永久，除非手动删除
	// zk.FlagEphemeral = 1: 短暂，session断开则该节点也被删除
	// zk.FlagSequence  = 2: 会自动在节点后面添加序号
	// 3: Ephemeral和Sequence，即，短暂且自动添加序号
	var flags int32 = 0
	path := "/path5"
	data := []byte("data")

	_ = createPath(t, conn, path, data, flags)

	// 将 path5 的值修改为 new data
	modifyData(t, conn, path, []byte("new data"))
	afterData, _ := getPath(t, conn, path)
	assert.Equal(t, []byte("new data"), afterData)

	deletePath(t, conn, path)
}

// TestGetPathChildren 获取 path 下的所有 children
// Cmd: ls -s /path
func TestGetPathChildren(t *testing.T) {
	conn := initConn(t)
	defer conn.Close()

	var flags int32 = 0

	path := "/path6"
	data := []byte("ephemeral")
	_ = createPath(t, conn, path, data, flags)
	_ = createPath(t, conn, path+"/ch1", data, flags)
	_ = createPath(t, conn, path+"/ch2", data, flags)

	children, _, err := conn.Children(path)
	if err != nil {
		t.Fatal(err)
	}
	assert.ElementsMatch(t, []string{"ch1", "ch2"}, children)

	for _, child := range children {
		deletePath(t, conn, path+"/"+child)
	}

	deletePath(t, conn, path)
}

// TestExists 判断节点是否存在
func TestExists(t *testing.T) {
	conn := initConn(t)
	defer conn.Close()

	exists, _, err := conn.Exists("/noExist")
	if err != nil {
		t.Fatal(err)
	}
	assert.False(t, exists)
}

Zookeeper 的 watch

在 go-zookeeper 中，golang 是通过 Event 来实现 watch 机制

全局监听

// TestWatchGlobal 全局 watch
func TestWatchGlobal(t *testing.T) {
	// 创建监听的option，用于初始化zk
	eventCallbackOption := zk.WithEventCallback(callback)
	// 连接zk
	conn, _, err := zk.Connect([]string{"192.168.122.20:2181", "192.168.122.21:2181", "192.168.122.22:2181"}, time.Second*5, eventCallbackOption)
	defer conn.Close()
	if err != nil {
		t.Fatal(err)
	}
	data := []byte("hello")
	var flags int32 = zk.FlagEphemeral
	path := "/watchGlobal"

	// 开始监听path
	_, _, _, err = conn.ExistsW(path)
	if err != nil {
		t.Fatal(err)
	}

	// 触发创建操作
	createPath(t, conn, path, data, flags)

	//再次监听path
	_, _, _, err = conn.ExistsW(path)
	if err != nil {
		t.Fatal(err)
	}

	// 触发删除操作
	deletePath(t, conn, path)
}

// callback 回调函数
func callback(event zk.Event) {
	if event.Err != nil {
		log.Fatal(event.Err)
	}
	log.Println("发生 global watch 回调：")
	log.Println("path:", event.Path)
	log.Println("type:", event.Type.String())
	log.Println("state:", event.State.String())
	log.Println("---------------------------")
}

提示：

  1. 如果即设置了全局监听又设置了部分监听，那么最终是都会触发的，并且全局监听会先执行
  2. 如果设置了监听子节点，那么事件的触发是先子节点后父节点

监听节点的值

// TestWatchPathData watch 节点的值
// Cmd: get -w /path
func TestWatchPathData(t *testing.T) {
	conn := initConn(t)

	path := "/watchData"
	data := []byte("data")
	var flags int32 = zk.FlagEphemeral

	_ = createPath(t, conn, path, data, flags)
	t.Log("before data:", string(data))

	// 监听 path 的数据
	_, _, event, err := conn.GetW(path)
	if err != nil {
		t.Error(err)
		return
	}

	go watchData(event)

	modifyData(t, conn, path, []byte("new data"))
	afterData, _ := getPath(t, conn, path)
	t.Log("after data:", string(afterData))
}

func watchData(e <-chan zk.Event) {
	event := <-e
	log.Println("发生 data watch 回调：")
	log.Println("path:", event.Path)
	log.Println("type:", event.Type.String())
	log.Println("state:", event.State.String())
	log.Println("---------------------------")
}

监听节点的 Children Path

// TestWatchPathChildren watch 节点的子节点
// Cmd: ls -w /path
func TestWatchPathChildren(t *testing.T) {
	conn, _, err := zk.Connect([]string{"192.168.122.20:2181", "192.168.122.21:2181", "192.168.122.22:2181"},
		5*time.Second)
	if err != nil {
		t.Fatal(err)
	}
	defer conn.Close()

	path := "/watchData"
	data := []byte("data")
	var flags int32 = 0

	_ = createPath(t, conn, path, data, flags)

	// 监听 path 的数据
	_, _, event, err := conn.ChildrenW(path)
	if err != nil {
		t.Error(err)
		return
	}
	_ = createPath(t, conn, path+"/ch1", data, flags)

	// 监听 path 的数据
	_, _, event, err = conn.ChildrenW(path)
	if err != nil {
		t.Error(err)
		return
	}
	_ = createPath(t, conn, path+"/ch2", data, flags)

	go watchData(event)

	modifyData(t, conn, path, []byte("new data"))
	children, _, err := conn.Children(path)
	if err != nil {
		t.Fatal(err)
	}
	for _, child := range children {
		deletePath(t, conn, path+"/"+child)
	}

	deletePath(t, conn, path)
}
程序员Live
关注
专栏目录
golang操作zookeeper
qq_39280718的博客
09-13 781
golang操作zookeeper
Golang基于Zookeeper实现节点注册发现、内容配置变更
jstang的博客
05-06 1612
一、Zookeeper入门 1.1 Zookeeper简介 Zookeeper是一个分布式数据库(程序协调服务)，Hadoop子项目；以树状方式维护节点方数据的增、删、改、查；通过监听可以获取相应消息事件； 节点类型： 持久节点：一直存储在服务器上 临时节点：会话失效、节点自动清理 顺序节点：节点创建时自动分配序列号 1.2 Zookeeper安装启动 [root@localhost ~]$ wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookee
Zookeeper Golang客户端：go-zookeeper的基本使用
热门推荐
业精于勤，荒于嬉；行成于思，毁于随
08-25 2万+
Zookeeper Golang客户端：go-zookeeper的基本使用1.连接到ZK server端var hosts = []string{"localhost:8000"}//server端host conn, _, err := zk.Connect(hosts, time.Second*5) if err != nil { fmt.Println(err)
Go-Zookeeper 项目教程
最新发布
gitblog_00972的博客
09-02 361
Go-Zookeeper 项目教程 zk项目地址:https://gitcode.com/gh_mirrors/zk3/zk 1. 项目的目录结构及介绍 Go-Zookeeper 项目的目录结构如下： go-zookeeper/ ├── cmd/ │ └── zk/ │ └── main.go ├── config/ │ └── config.yaml ├── docs/ ├...
Golang分布式应用之ZooKeeper
Qinng的博客
08-10 1550
本文分析了ZooKeeper在分布式锁、服务发现等场景上的实现方式，并对比了与etcd的差异点。
Go语言连接 zookeeper
冰河世纪20的博客
03-15 5527
介绍 Apache ZooKeeper 是 Apache 软件基金会的一个软件项目，他为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper 曾经是 Hadoop 的一个子项目，但现在是一个独立的顶级项目。 ZooKeeper 的架构通过冗余服务实现高可用性。因此，如果第一次无应答，客户端就可以询问另一台 ZooKeeper 主机。ZooKeeper 节点将它们的数据存储...
golang使用zookeeper进行CURD
weixin_42128977的博客
10-10 670
Zookeeper是一个分布式数据库(程序协调服务)，Hadoop子项目；以树状方式维护节点方数据的增、删、改、查；通过监听可以获取相应消息事件；持久节点：一直存储在服务器上(0)临时节点：会话失效、节点自动清理(FlagEphemeral)顺序节点：节点创建时自动分配序列号(FlagSequence)
Golang操作ZooKeeper客户端库详解及实践
gitblog_00082的博客
08-07 1091
Golang操作ZooKeeper客户端库详解及实践 go-zookeeperNative ZooKeeper client for Go项目地址:https://gitcode.com/gh_mirrors/go/go-zookeeper 一、项目介绍 go-zookeeper是一款原生的Go语言编写的ZooKeeper客户端库. 它提供了丰富的API用于与Apache ZooKeeper服务...
golang微服务之注册与发现（zookeeper，etcd，consul）
energysober的博客
04-07 2526
golang微服务之注册与发现，zookeeper，etcd，consul，接口化，屏蔽底层实现
golang之额外学习zookeeper
qq_44981657的博客
05-22 467
zookeeper文档路径 安装 我在Linux下的ubuntu下安装的apache-zookeeper-3.6.3-bin tar -vxzf 到 /usr/local里面 再修改zookerper下的conf/zoo.cfg文件中的dataDir 配置环境变量 export ZOOKEEPER_INSTALL=/usr/local/zookeeper export PATH=ZOOKEEPERINSTALL/bin:ZOOKEEPER_INSTALL/bin:ZOOKEEPERI​NSTALL/bi
ZooKeeper（分布式协调服务）使用介绍
2401_84010165的博客
04-18 626
包含最全MySQL、Redis、Java并发编程等等面试题和答案，用于参考~
Go语言操作Zookeeper
专注基础架构领域
11-04 1775
最近工作中有使用到通过Go语言操作Zookeeper相关内容，工程使用的是 go-zookeeper 来做的，特此记录便于日后查阅。 go-zookeeper：文档地址:zk package - github.com/samuel/go-zookeeper/zk - pkg.go.dev 1、连接zk server package main import ( "fmt" "github.com/samuel/go-zookeeper/zk" ...
Golang 操作zookeeper
qq_29744347的博客
07-20 1286
zookeeper是开放源码的分布式应用程序协调服务常用来做服务发现使用go-zookeeper/zk类库github地址https。
zookeeper(go-zookeeper)
xiaoxiaoyu85的专栏
03-20 432
1. 单机搭建 https://blog.csdn.net/weixin_42207486/article/details/80647802 下载wget http://apache.fayea.com/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz 2.集群搭建 Zookeeper集群中节点个数一般为奇数个（>=3），若集群中...
【GO】27. zookeeper golang库go-zookeeper实例
chen_peng7的博客
10-19 1530
Golang 操作 zookeeper 使用库：https://github.com/samuel/go-zookeeper 文档地址：http://godoc.org/github.com/samuel/go-zookeeper/zk 连接zk server package main import ( "fmt" "github.com/samuel/go-zookeeper/zk" "time" ) func main() { // 创建zk连接地址 hosts := [].
zookeeper的介绍和用docker搭建zookeeper集群，以及Go语言使用zookeeper
m0_52530105的博客
06-21 3744
Apache ZooKeeper 是 Apache 软件基金会的一个软件项目，为大型分布式系统提供开源分布式配置服务、同步服务和命名注册。ZooKeeper原本是Hadoop的一个子项目，但现在它本身已经是一个顶级项目了。zookeeper是经典的分布式数据一致性解决方案，致力于为分布式应用提供一个高性能，高可用，且具有严格顺序访问控制能力的分布式协调存储服务。
golang连接zookeeper
u011550549的博客
07-23 982
用C++连接zookeeper需要安装很多的库，golang却简单得多。 1.下载 go-zookeeper 文件 进入工程目录 git clonehttps://github.com/samuel/go-zookeeper.git 2.将go-zookeeper添加金gopath package main import ( "fmt" "go-zookeeper/zk" "time" ) var ( path = "/zk/path" ) func get(conn *zk.
Go-zk-sniffer使用golang嗅探和解析ZooKeeper数据包
08-14
在实际使用Go-zk-sniffer时，用户可以通过命令行参数或配置文件定制嗅探规则，比如指定监听的网络接口、过滤特定的ZooKeeper操作等。通过输出的解析结果，开发者可以快速获取到关键信息，进行后续的分析处理。 总的...
Go-Zookeeper 项目使用教程
gitblog_00034的博客
08-07 393
Go-Zookeeper 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/go/go-zookeeper 1. 项目的目录结构及介绍 Go-Zookeeper 项目的目录结构如下： go-zookeeper/ ├── LICENSE ├── README.md ├── go.mod ├── go.sum ├── zk/ │ ├── conn.go │ ...
Go ZooKeeper客户端
gitblog_00032的博客
03-17 434
Go ZooKeeper客户端 go-zookeeperNative ZooKeeper client for Go. This project is no longer maintained. Please use https://github.com/go-zookeeper/zk instead.项目地址:https://gitcode.com/gh_mirrors/goz/go-zook...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值