go之etcd读写实战

已于 2022-04-15 09:44:12 修改
阅读量3.3k 收藏 3
点赞数
分类专栏： golang etcd 集群 文章标签： golang etcd
于 2022-03-08 09:30:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38155824/article/details/123344905
版权
golang 同时被 3 个专栏收录
38 篇文章 0 订阅
订阅专栏
etcd
5 篇文章 0 订阅
订阅专栏
集群
2 篇文章 0 订阅
订阅专栏

什么是etcd？

etcd 发音为/ˈɛtsiːdiː/，名字的由来，“distributed etc directory.”，意思是“分布式etc目录”，说明它存的是大型分布式系统的配置信息。
官网的一句话
A distributed, reliable key-value store for the most critical data of a distributed system.
翻译并理解过来就是：一个用于存储分布式系统中最关键的数据的仓库，它是分布式的、可靠的键值对仓库。首先它是个数据存储仓库，它的特性是分布式的、可靠性的，数据存储格式是键值对存储，它主要用于存储分布式系统中的关键数据。

etcd的应用场景

etcd的应用场景：服务发现和服务注册、配置中心、分布式锁。

1、服务发现
服务发现要解决的也是分布式系统中最常见的问题之一，即在同一个分布式集群中的进程或服务，要如何才能找到对方并建立连接。本质上来说，服务发现就是想要了解集群中是否有进程在监听 udp 或 tcp 端口，并且通过名字就可以查找和连接。
控制时序，即所有想要获得锁的用户都会被安排执行，但是获得锁的顺序也是全局唯一的，同时决定了执行顺序。
2、配置中心
将一些配置信息放到 etcd 上进行集中管理。
这类场景的使用方式通常是这样：应用在启动的时候主动从 etcd 获取一次配置信息，同时，在 etcd 节点上注册一个 Watcher 并等待，以后每次配置有更新的时候，etcd 都会实时通知订阅者，以此达到获取最新配置信息的目的。
3、分布式锁
因为 etcd 使用 Raft 算法保持了数据的强一致性，某次操作存储到集群中的值必然是全局一致的，所以很容易实现分布式锁。锁服务有两种使用方式，一是保持独占，二是控制时序。

  • 保持独占即所有获取锁的用户最终只有一个可以得到。etcd 为此提供了一套实现分布式锁原子操作 CAS（CompareAndSwap）的API。通过设置prevExist值，可以保证在多个节点同时去创建某个目录时，只有一个成功。而创建成功的用户就可以认为是获得了锁。
  • 控制时序，即所有想要获得锁的用户都会被安排执行，但是获得锁的顺序也是全局唯一的，同时决定了执行顺序。etcd 为此也提供了一套API（自动创建有序键），对一个目录建值时指定为POST动作，这样 etcd会自动在目录下生成一个当前最大的值为键，存储这个新的值（客户端编号）。同时还可以使用 API按顺序列出所有当前目录下的键值。此时这些键的值就是客户端的时序，而这些键中存储的值可以是代表客户端的编号。

为什么用etcd而不用zookeeper？

  • etcd简单，使用Go语言编写部署简单，支持HTTP/JSON API，使用简单：使用Raft算法保证强一致性，让用户易于理解。
  • etcd默认数据一更新就进行持久化。
  • etcd支持SSL客户端安全认证。
  • zookeeper部署维护复杂，其使用的PAXOS强一致性算法难懂。官方只提供了JAVA和C两种语言的接口。
  • zookeeper 使用JAVA编写引入大量依赖。运维人员维护起来比较麻烦。

下面开始实战

安装etcd

  1. 所谓安装ectd，实际上就是下载etcd文件，然后解压即可。

etcd下载目录：https://github.com/etcd-io/etcd/releases
在这里插入图片描述

（如果上面的地址下载不了。就进入这个地址下载：https://studygolang.com/articles/28682）

  1. 下载到本地window,通过scp (或者ftp工具)上传到linux目录即可：

scp -r ./etcd-v3.4.7-linux-amd64.tar.gz root@81.68.81.16:/usr/local

  1. 到linux的环境执行以下操作：
cd /usr/local
tar -xzvf etcd-v3.4.7-linux-amd64.tar.gz

解压成功后能看到下面的文件：
在这里插入图片描述

首先，必须开启etcd（需要在etcd的解压目录下执行）

./etcd （后台挂起程序：nohup ./etcd &）

查看etcd默认的端口是否已经开启：netstat -antp | grep 2379
在这里插入图片描述
然后就可以在xshell控制台新增和读取key-value（需要在etcd的解压目录下执行）

./etcdctl --endpoints=localhost:2379 put mylove lxz
./etcdctl --endpoints=localhost:2379 get mylove
#删除key：
./etcdctl del /hello

在这里插入图片描述
如果没开启etcd，就进行读取或新增key的话，会出现下面的报错：
在这里插入图片描述

通过go代码实现etcd的读写操作

  1. 设置key-value
package main
import (
	"fmt"
	"context"
	clientv3 "go.etcd.io/etcd/client/v3"
	"time"
)
// 设置etcd的值
func main() {
    key := "bookname"
    value := "收敛之道"
    SetEtcdData(key,value)
}

func SetEtcdData(key string,value string) {
	cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        // handle error!
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    // put
    ctx, cancel := context.WithTimeout(context.Background(), time.Second)
    _, err = cli.Put(ctx, key, value)
    cancel()
    if err != nil {
        fmt.Printf("put to etcd failed, err:%v\n", err)
        return
    }
}
  1. 读取key-value
package main
import (
	"fmt"
	"context"
	clientv3 "go.etcd.io/etcd/client/v3"
	"time"
)

//获取etcd的值
func main() {
	fmt.Println("获取etcd的key")
	//获取单个key
	// key := "foo"
	// GetEtcdData(key)
	// GetEtcdData2(key)

	//获取多个key
	keys := []string{"foo","mylove"}
	GetEtcdData3(keys...)
}

func GetEtcdData(key string) {
	cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        // handle error!
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    //限制请求时间为1秒
    ctx, cancel := context.WithTimeout(context.Background(), time.Second)
    resp, err := cli.Get(ctx, key)
    cancel()
    if err != nil {
        fmt.Printf("get from etcd failed, err:%v\n", err)
        return
    }
    fmt.Println(resp.Kvs) //[key:"foo" create_revision:2 mod_revision:3 version:2 value:"bar" ]
    fmt.Println(resp.Kvs[0])//key:"foo" create_revision:2 mod_revision:3 version:2 value:"bar"
    for _, ev := range resp.Kvs {
        fmt.Printf("获取etcd的key-value为：%s:%s\n", ev.Key, ev.Value)
    }
}


func GetEtcdData2(key string) {
	var kv clientv3.KV
	cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        // handle error!
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    //限制请求时间为1秒
    ctx, cancel := context.WithTimeout(context.Background(), time.Second)
    kv = clientv3.NewKV(cli)//用newKv的方式获取键值对
    resp, err := kv.Get(ctx, key)
    cancel()
    if err != nil {
        fmt.Printf("get from etcd failed, err:%v\n", err)
        return
    }
    fmt.Println(resp.Kvs) //[key:"foo" create_revision:2 mod_revision:3 version:2 value:"bar" ]
    fmt.Println(resp.Kvs[0])//key:"foo" create_revision:2 mod_revision:3 version:2 value:"bar"
    for _, ev := range resp.Kvs {
        fmt.Printf("22获取etcd的key-value为：%s:%s\n", ev.Key, ev.Value)
    }
}


//获取多个键值对
func GetEtcdData3(keys...string) {
	cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        // handle error!
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    ctx := context.TODO()//做法1
    //限制请求时间为1秒
    for _,k := range keys {
    	//做法2
    	// ctx, cancel := context.WithTimeout(context.Background(), time.Second)
	    resp, err := cli.Get(ctx, k)
	    // cancel()
	    if err != nil {
	        fmt.Printf("get from etcd failed, err:%v\n", err)
	        return
	    }
	    for _, ev := range resp.Kvs {
	        fmt.Printf("获取etcd的多个key-value为：%s:%s\n", ev.Key, ev.Value)
	    }
    }
}
  1. 监听key的变化
package main

import (
    "context"
    "fmt"
    "time"
    clientv3 "go.etcd.io/etcd/client/v3"
)

// watch demo
//监听某个key的变化
func main() {
    cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    // watch key:bookname change
    rch := cli.Watch(context.Background(), "bookname") // <-chan WatchResponse
    for wresp := range rch {
        for _, ev := range wresp.Events {
            fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
        }
    }
}

效果：
在这里插入图片描述

在这里插入图片描述

etcd操作多个key:

#获取某个前缀的key，--keys-only代表不展示value。
./etcdctl --endpoints=localhost:2379 get / --prefix --keys-only 


#获取所有key，以及对应的value
./etcdctl --endpoints=localhost:2379 get  ""  --prefix

#获取所有key
./etcdctl --endpoints=localhost:2379 get  ""  --prefix --keys-only

#监听某个前缀的所有key的修改
./etcdctl --endpoints=localhost:2379 watch "/k" --prefix

#删除前缀是/hello开头下的所有key：
./etcdctl del /hello --prefix

在这里插入图片描述

在这里插入图片描述
代码实战：

//获取某个前缀下的所有key
//当pre_key=""的时候，获取全部的key。
func GetEtcdData4(pre_key string) {
	var kv clientv3.KV
	cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        // handle error!
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    //限制请求时间为1秒
    ctx := context.TODO()//做法1
    kv = clientv3.NewKV(cli)//用newKv的方式获取键值对
    //获取前缀下面的所有key。当pre_key=""的时候，获取全部的key。
    resp, err := kv.Get(ctx, pre_key, clientv3.WithPrefix())
    if err != nil {
        fmt.Printf("get from etcd failed, err:%v\n", err)
        return
    }
    fmt.Println(resp.Kvs) //[key:"foo" create_revision:2 mod_revision:3 version:2 value:"bar" ]
    // fmt.Println(resp.Kvs[0])//key:"foo" create_revision:2 mod_revision:3 version:2 value:"bar"
    for _, ev := range resp.Kvs {
        fmt.Printf("22获取etcd的key-value为：%s:%s\n", ev.Key, ev.Value)
    }
}

推荐阅读:
https://blog.csdn.net/wohu1104/article/details/108552649
https://www.topgoer.com/%E6%95%B0%E6%8D%AE%E5%BA%93%E6%93%8D%E4%BD%9C/go%E6%93%8D%E4%BD%9Cetcd/etcd%E4%BB%8B%E7%BB%8D.html

我是等闲之辈
关注
专栏目录
Go 学习笔记（58）— Go 第三方库之 etcd/clientv3（连接客户端、PUT、GET、Lease、Op、Txn、Watch 基础概念说明）
wohu1104的专栏
09-15 1万+
1. 安装 Golang 的 Etcd 包 我们使用 v3 版本的 etcd client ， 首先通过 go get 下载并编译安装 etcd clinet v3。 go get -v github.com/coreos/etcd/clientv3 该命令会将包下载到 $GOPATH/src/github.com/coreos/etcd/clientv3 中，所有相关依赖包会自动下载编译，包括protobuf、grpc等。 我们主要梳理一下使用 etcd 时经常用到的主要 API 并进行演示。 2. 连
Kubernetes实战（三十三）-外部Etcd集群部署与调优（更安全的数据存储策略）
专注基础架构领域
11-06 587
Etcd集群作为kubernetes集群的大脑，重要性不言而喻，但我好像没有对etcd集群做过一个全方面的总结，部署手法也只是单调的使用ansible快速部署，很多细节并没有说清楚，并且对于etcd集群部署后的性能调优也没有过多的提及。因此，本文将对etcd集群的由来，etcd集群的特点，etcd集群的部署手法，etcd应该注意的调优方案这些做一个全面的总结。
Go操作etcd
weixin_30470643的博客
09-13 477
目录 一、etcd 二、etcd介绍 三、etcd应用场景 3.1 服务发现 3.2 配置中心 3.3 分布式锁 四、为什么用 etcd 而不用ZooKeeper？ 4.1 为什么不选择ZooKeeper？...
go操作etcd
最新发布
m0_73880436的博客
09-20 990
etcd是使用Go语言开发的一个开源的、高可用的分布式key-value存储系统，可以用于配置共享和服务的注册和发现。类似项目有zookeeper和consul。
go etcd使用
weixin_33875564的博客
12-16 210
先用 go get go.etcd.io/etcd/clientv3 获得etcd的客户端 下面为测试代码package main import ( "fmt" "time" "go.etcd.io/etcd/clientv3" context "golang.org/x/net/context" ) func main() { cli, err :=...
go-etcd
ALEX_CYL的博客
06-29 417
高可用的分布式key-val存储，可以用于配置共享和服务发现 类似项目：zookeeper(java)和consul(go) 开发语言：go 接口：提供restful的http接口，使用简单 实现算法：基于raft一致性算法的强一致性、高可用（多个备份）的服务存储目录。etcd 与redis: redis集群一般是一主两从，主写入数据，从读出数据，故可能存在信息更新延迟；etcd的强一致性确保热和任何节点的数据都是一致的。故对与强一致性要求高的选用etcd，一致性要求不是很严的可选用redis,redis的
Golang mk教程-Go语言视频零基础入门到精通项目实战web编程
05-12
第01天-基础-基本概念、环境搭建、第一个Go程序 第02天-基础-包、函数、常量、数据类型、字符操作 第03天-基础-作业讲解、流程控制、函数详解 第04天-基础-闭包、数组、切片、锁机制 第05天-进阶-排序、链表、二叉树...
Go语言在分布式系统中的实战：Zookeeper与Etcd的选择与对比
"Go在分布式系统开发中的应用探讨，包括Go语言特性、组件选择与实现，如错误处理、对象池、缓存等，并对比Zookeeper和Etcd在分布式协调中的异同" Go语言在分布式系统开发中扮演着重要的角色，其简洁的语法、高效的...
Go：Go语言项目实战
kkchenjj的博客
07-29 1076
在Go语言中，结构体是一种复合数据类型，用于将多个不同类型的值组合在一起。结构体的定义使用type关键字，后跟结构体名称和struct关键字，然后是包含字段的花括号。// 定义一个表示人的结构体Age int通过上述示例，我们可以看到Go语言提供了强大的测试和调试工具，帮助开发者确保代码的正确性和性能。单元测试和性能测试可以自动化地检查代码的逻辑和性能，而调试技巧则可以帮助开发者深入理解代码的执行过程，定位和修复错误。
【Go语言实战】 (13) 商品秒杀的本质以及Golang实现解决方案
面向生活编程
06-12 2521
源码：https://github.com/CocaineCong/Go-SecKill当两个或多个协程同时访问同一个内存地址，并且至少有一个是在写时，就会发生数据竞争。比如A线程修改完之后，线程B读的是线程A之前的值(初始值)，所以不知道A是否修改，所以会导致线程B也把自己修改的值放到这个内存地址中，就会导致本次修改无意义。 常用的方法就是加锁了，当这个进程已经执行了，就为该进程进行加锁，防止其他进程对这个数据进行修改，所以这个数据进行修改之后，再释放这个锁。关于加锁，我们有两种锁机制，和。本次秒杀商城，
etcd:通过命令行客户端工具etcdctl存储的数据，在golang中通过etcd库去读取时读取不到的原因以及解决方法
01-06
背景： 1、在用golang编写：操作etcd数据库中数据的程序时遇到一个让人哭笑不得的事情，我在命令行通过命令行工具etcdctl set了几个数据，比如etcdctl set a aaa(解释：在etcd中存储key为a，value为aaa的数据)，通过命令行工具etcdctl 获取到a的值和期望的一样（值为aaa）,但是在通过golang的第三方库(go.etcd.io/etcd/clientv3)去读取我设置的数据时却读取不到； 2、然后我又通过golang的第三方库，在etcd中存储key为a，值为bbb(为了区分第1步设置的数据)，然后我又通过命令行工具etcdctl 工具去读取a
Go使用Etcd
a1023934860的博客
05-25 1787
Go使用Etcd clientv3.New(clientv3.Config{})创建etcd客户端，在使用etcd客户端中具体操作与配置与etcdctl中的指令，参数类似，所以非常容易理解每个配置的含义。 cli, err := clientv3.New(clientv3.Config{}) 下面将讲解一下clientv3.Config类 type Config struct { // 配置etcd ip Endpoints []string `json:"endpoints"` //
ETCD的使用
思维小刀
05-31 206
etcd 使用指南 - 简书
【etcd介绍及其用go语言使用etcd】
m0_63296929的博客
10-24 781
对etcd进行了概括，对其工作原理进行了梳理，常用的操作进行了整理，最后整理了go操作etcd的方法
go etcd
lljxk2008的博客
03-12 998
etcd 是由Go语言编写的key-value 存储,主要用途是共享配置和服务发现 分布式系统之间必然要做到数据共享,需要依赖一个可靠的共享存储服务,而etcd能够提供这样的服务 etcd类似的项目: zookeeper和consul etcd常见的两个版本v2和v3, 它们是两个独立的应用 文档建议使用v3版本, 下载:https://github.com/coreos/etc...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值