ETCD源码分析Client端启动流程分析

最新推荐文章于 2023-08-30 14:49:06 发布
最新推荐文章于 2023-08-30 14:49:06 发布
阅读量608 收藏 1
点赞数
分类专栏： ETCD源码分析笔记 文章标签： etcd docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdnYF/article/details/120304392
版权

ETCD源码基于v3.5，在分析之前，需要搭建好源码分析的环境。首先，从GitHub的仓库中克隆下ETCD的源码，再利用docker搭建我们的ETCD测试集群，命令如下：

REGISTRY=quay.io/coreos/etcd
NAME_1=etcd-node-0
NAME_2=etcd-node-1
NAME_3=etcd-node-2
# IP在不同机器上不同，请查看docker的子网网段
HOST_1=172.20.0.2  
HOST_2=172.20.0.3
HOST_3=172.20.0.4
PORT_1=2379
PORT_2=12379
PORT_3=22379
PORT_C_1=2380
PORT_C_2=12380
PORT_C_3=22380
CLUSTER=${NAME_1}=http://${HOST_1}:${PORT_C_1},${NAME_2}=http://${HOST_2}:${PORT_C_2},${NAME_3}=http://${HOST_3}:${PORT_C_3}
# 需要保证目录存在并可写
DATA_DIR=/var/folders/

# 需要创建docker网络，用于模拟集群网络分区的情况。
docker network create etcd_cluster

docker run \
  -p $PORT_1:$PORT_1 \
  -p $PORT_C_1:$PORT_C_1 \
  --volume "${DATA_DIR}${NAME_1}:/etcd-data" \
  --name ${NAME_1} \
  --network etcd_cluster \
  ${REGISTRY}:v3.5.0 \
  /usr/local/bin/etcd \
  --name ${NAME_1} \
  --data-dir /etcd-data \
  --listen-client-urls http://0.0.0.0:$PORT_1 \
  --advertise-client-urls http://$HOST_1:$PORT_1 \
  --listen-peer-urls http://0.0.0.0:$PORT_C_1 \
  --initial-advertise-peer-urls http://$HOST_1:$PORT_C_1 \
  --initial-cluster ${CLUSTER} \
  --initial-cluster-token tkn \
  --initial-cluster-state new \
  --log-level info \
  --logger zap \
  --log-outputs stderr

docker run \
  -p $PORT_2:$PORT_2 \
  -p $PORT_C_2:$PORT_C_2 \
  --volume=${DATA_DIR}${NAME_2}:/etcd-data \
  --name ${NAME_2} \
  --network etcd_cluster \
  ${REGISTRY}:v3.5.0 \
  /usr/local/bin/etcd \
  --name ${NAME_2} \
  --data-dir /etcd-data \
  --listen-client-urls http://0.0.0.0:$PORT_2 \
  --advertise-client-urls http://$HOST_2:$PORT_2 \
  --listen-peer-urls http://0.0.0.0:$PORT_C_2 \
  --initial-advertise-peer-urls http://$HOST_2:$PORT_C_2 \
  --initial-cluster ${CLUSTER} \
  --initial-cluster-token tkn \
  --initial-cluster-state new \
  --log-level info \
  --logger zap \
  --log-outputs stderr

docker run \
  -p $PORT_3:$PORT_3 \
  -p $PORT_C_3:$PORT_C_3 \
  --volume=${DATA_DIR}${NAME_3}:/etcd-data \
  --name ${NAME_3} \
  --network etcd_cluster \
  ${REGISTRY}:v3.5.0 \
  /usr/local/bin/etcd \
  --name ${NAME_3} \
  --data-dir /etcd-data \
  --listen-client-urls http://0.0.0.0:$PORT_3 \
  --advertise-client-urls http://$HOST_3:$PORT_3 \
  --listen-peer-urls http://0.0.0.0:$PORT_C_3 \
  --initial-advertise-peer-urls http://$HOST_3:$PORT_C_3 \
  --initial-cluster ${CLUSTER} \
  --initial-cluster-token tkn \
  --initial-cluster-state new \
  --log-level info \
  --logger zap \
  --log-outputs stderr

如上，我们创建了三个ETCD节点，组成了一个集群。接下来我们正式进入源码分析流程。

ETCD Client启动流程分析

我们先看一段启动代码样例：

        cli, err := clientv3.New(clientv3.Config{
			Endpoints:   exampleEndpoints(),
			DialTimeout: dialTimeout,
		})
		if err != nil {
			log.Fatal(err)
		}
		defer cli.Close()

		ctx, cancel := context.WithTimeout(context.Background(), requestTimeout)
		_, err = cli.Put(ctx, "sample_key", "sample_value")
		cancel()
		if err != nil {
			log.Fatal(err)
		}

一个最简单的程序只需要提供集群的所有节点的ip和端口就能访问，这里需要注意的是，一定要填写ETCD集群的所有节点，这样才能有故障转移、负载均衡的特性。或者运行一个ETCD的代理节点（ETCD网关）负责转发请求，这样只填写代理节点ip即可，当然性能上会有所损失。

一、ETCD的Client启动流程分析

接下来我们看看Client是如何被创建出来的：


func newClient(cfg *Config) (*Client, error) {
    // -----A-----
	ctx, cancel := context.WithCancel(baseCtx)
	client := &Client{
		conn:     nil,
		cfg:      *cfg,
		creds:    creds,
		ctx:      ctx,
		cancel:   cancel,
		mu:       new(sync.RWMutex),
		callOpts: defaultCallOpts,
		lgMu:     new(sync.RWMutex),
	}
	 // -----A-----

    // -----B-----
	client.resolver = resolver.New(cfg.Endpoints...)

	conn, err := client.dialWithBalancer()
	if err != nil {
		client.cancel()
		client.resolver.Close()
		return nil, err
	}
	client.conn = conn
	 // -----B-----

    // -----C-----
	client.Cluster = NewCluster(client)
	client.KV = NewKV(client)
	client.Lease = NewLease(client)
	client.Watcher = NewWatcher(client)
	client.Auth = NewAuth(client)
	client.Maintenance = NewMaintenance(client)
	
	...
    // -----C-----
    
	return client, nil
}
A段代码分析

首先来看第A段代码，其主要是初始化了一个client的实例，并把Config结构体传递给它，那么Config中包含了什么配置项呢？

type Config struct {
	// ETCD服务器地址，注意需要提供ETCD集群所有节点的ip
	Endpoints []string `json:"endpoints"`

	// 设置了此间隔时间，每 AutoSyncInterval 时间ETCD客户端都会
	// 自动向ETCD服务端请求最新的ETCD集群的所有节点列表
	// 
	// 默认为0，即不请求
	AutoSyncInterval time.Duration `json:"auto-sync-interval"`

	// 建立底层的GRPC连接的超时时间
	DialTimeout time.Duration `json:"dial-timeout"`

	// 这个配置和下面的 DialKeepAliveTimeoutt
	// 都是用来打开GRPC提供的 KeepAlive
	// 功能，作用主要是保持底层TCP连接的有效性，
	// 及时发现连接断开的异常。
	// 
	// 默认不打开 keepalive
	DialKeepAliveTime time.Duration `json:"dial-keep-alive-time"`

	// 客户端发送 keepalive 的 ping 后，等待服务端的 ping ack 包的时长
	// 超过此时长会报 `translation is closed`
	DialKeepAliveTimeout time.Duration `json:"dial-keep-alive-timeout"`
		
	// 也是 keepalive 中的设置，
	// true则表示无论有没有活跃的GRPC连接，都执行ping
	// false的话，没有活跃的连接也就不会发送ping。
	PermitWithoutStream bool `json:"permit-without-stream"`

	// 最大可发送字节数，默认为2MB
	// 也就是说，我们ETCD的一条KV记录最大不能超过2MB，
	// 如果要设置超过2MB的KV值，
	// 只修改这个配置也是无效的，因为ETCD服务端那边的限制也是2MB。
    // 需要先修改ETCD服务端启动参数：`--max-request-bytes`，再修改此值。
	MaxCallSendMsgSize int

    // 最大可接收的字节数，默认为`Int.MaxInt32`
    // 一般不需要改动
	MaxCallRecvMsgSize int

	// HTTPS证书配置
	TLS *tls.Config
	
	// 上下文，一般用于取消操作
	ctx.Context

	// 设置此值，会拒绝连接到低版本的ETCD
	// 什么是低版本呢？
	// 写死了，小于v3.2的版本都是低版本。
	RejectOldCluster bool `json:"reject-old-cluster"`

	// GRPC 的连接配置，具体可参考GRPC文档
	DialOptions []grpc.DialOption

	// zap包的Logger配置 
	// ETCD用的日志包就是zap
	Logger *zap.Logger
	LogConfig *zap.Config
	
	...
}

还有一些常用配置项，比较简单，这里就不再列出了。

B段代码分析

本段是整个代码的核心部分，主要做了两件事：

  1. 创建了 resolver 用于解析ETCD服务的地址
    resolver（解析器）其实是grpc中的概念，比如：DNS解析器，域名转化为真实的ip；服务注册中心，也是一种把服务名转化为真实ip的解析服务。

    具体的概念就不展开了，如果对grpc这方面比较感兴趣，文末会推荐一个讲的很好的grpc源码分析博客。

    总之，etcd自己写了一个解析器，就在resolver包里，这个解析器提供了以下几个功能：

    1. 把Endpoints里的ETCD服务器地址传给grpc框架，这里，因为ETCD自己实现的解析器不支持DNS解析，所以Endpoints只能是ip地址或者unix套接字。
    2. 告诉grpc，如果Endpoints有多个，负载均衡的策略是轮询，这点很重要。

  2. dialWithBalancer() 建立了到ETCD的服务端链接

func (c *Client) dialWithBalancer(dopts ...grpc.DialOption) (*grpc.ClientConn, error) {
	creds := c.credentialsForEndpoint(c.Endpoints()[0])
	opts := append(dopts, grpc.WithResolvers(c.resolver))
	return c.dial(creds, opts...)
}

这个用于建立到ETCD服务端的连接的方法名很有意思，虽然叫dialWithBalancer但内部代码很简单，可以看到里面并无Balancer（负载均衡器）

最低0.47元/天 解锁文章
csdnYF
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
etcd-raftexample-源码简析
Zeng_qq的博客
01-17 1559
最近集中了解了ZAB、Raft及Paxos协议的基本理论，因此想进一步深入到源代码仔细体验一致性协议如何在分布式系统中发挥作用。虽然在 MIT 6.824 课程中有简单实现Raft协议，并基于Raft构建了一个粗糙的 kv 存储系统。但还是想了解下工业生产级别的Raft协议的实现内幕，故选择etcd进行解读。etcd是 CoreOS 基于Raft协议使用 go 开发的分布式 kv 存储系统，可用于...
ETCD数据库源码分析——三大主流程启动流程
肥叔菌的博客
07-14 649
raft.Node的run协程在StartNode和RestartNode中执行（raft/node.go），而StartNode和RestartNode函数是在server/etcdserver/bootstrap.go文件中的newRaftNode函数中调用的。newRaftNode函数在server/etcdserver/server.go的NewServer函数中创建EtcdServer结构体时调用，并赋值给EtcdServer.r成员，也就是RaftNode类型的变量。...
etcd后端存储源码解析——底层读写操作
hty46565的博客
11-08 897
背景 最近想找一些用Go语言实现的优秀开源项目学习一下，etcd作为一个被广泛应用的高可用、强一致性服务发现存储仓库，非常值得分析学习。 本篇文章主要是对etcd的后台存储源码做一解析，希望可以从中学到一些东西。 etcd大版本区别 目前etcd常用的是v2和v3两个大版本。两个版本不同之处主要在于： v2版本仅在内存中对数据进行了存储，没有做持久化存储。而v3版本做了持久化存储，且还使用了缓存机制加快查询速度。 v2版本和v3版本对外提供的接口做了一些改变。在命令行界面中，可以使用环境变量ETCDCTL
etcd之读写请求的执行过程
fourierr的博客
08-30 1248
首先，etcdctl 会对命令中的参数进行解析。在解析完请求中的参数后，etcdctl 会创建一个 clientv3 库对象通过gRPC API来访问 etcd server。对应流程一。然后通过负载均衡算法选择一个etcd server节点，然后调用 etcd server 的 KVServer 模块的 Range RPC 方法，把请求发送给 etcd server。在 etcd 3.4 中，clientv3 库采用的负载均衡算法为 Round-robin，对应流程二。
【etcd】解决 go-zero 注册 etcd 出现 “Auto sync endpoints failed.” 的问题
非晓为骁的博客
07-30 1782
本文主要记录在 go-zero 中，用 etcd 当做服务注册中心，其中出现的 Auto sync endpoints failed 的问题
Etcd C++ client 源码
04-20
**Etcd C++ Client 源码解析** `Etcd C++ client` 是一个用于与 `etcd` 服务交互的客户端库，采用 C++ 编写，具有线上项目实战经验，提供了丰富的接口供开发者使用。`etcd` 是一个分布式的、高可用的键值存储系统，...
redis键值数据库源码分析
最新发布
02-05
t_hash.c hash在Server/Client中的应答操作。主要通过redisObject进行类型转换。 t_list.c list在Server/Client中的应答操作。主要通过redisObject进行类型转换。 t_set.c set在Server/Client中的应答操作。主要通过...
MySQL源码分析代码结构与基本流程完美版资料.ppt
11-13
MySQL源码分析代码结构与基本流程完美版资料 MySQL源码分析是指对MySQL数据库管理系统的源代码进行分析和研究，以了解其内部工作机制和实现原理。 MySQL源码分析代码结构与基本流程完美版资料是MySQL源码分析的详细...
Hadoop源码分析 完整版 共55章
07-26
### Hadoop源码分析知识点概览 #### 一、Hadoop概述与背景 - **Google核心技术**：Hadoop的设计理念很大程度上受到了Google一系列核心技术的影响，包括Google File System (GFS)、BigTable以及MapReduce等。这些...
etcd实战及其原理分析.pdf
02-12
在开发和测试环境中，可以通过简单的命令行工具快速启动etcd实例。 2.2 etcd客户端使用 etcd提供了丰富的命令行工具，允许用户进行键值的增删改查、设置权限、创建租约等操作。 2.3 etcd权限管理 etcd支持权限控制...
Go使用Etcd
a1023934860的博客
05-25 1721
Go使用Etcd clientv3.New(clientv3.Config{})创建etcd客户端，在使用etcd客户端中具体操作与配置与etcdctl中的指令，参数类似，所以非常容易理解每个配置的含义。 cli, err := clientv3.New(clientv3.Config{}) 下面将讲解一下clientv3.Config类 type Config struct { // 配置etcd ip Endpoints []string `json:"endpoints"` //
一文读懂Etcd及其原理和应用场景
日拱一卒无有尽，功不唐捐终入海
08-02 712
Etcd是一个开源的、高可用的、分布式的键值存储系统，可以用于存储关键的配置数据、服务发现、服务注册等。它使用Raft一致性算法来保证数据的一致性，并使用分布式锁机制来实现并发控制。Etcd支持HTTP API和gRPC API，提供了多种客户端库，可以方便地与各种编程语言进行集成。在云原生应用和微服务架构中，Etcd被广泛应用于服务发现、配置管理、分布式锁等场景。本文将介绍Etcd的原理、应用场景和使用方法，帮助读者更好地理解和应用Etcd。
etcd配置
weixin_38155824的博客
06-15 2010
etcd配置
【etcd】创建全局的etcdclient:ETCD Client 的生命周期影响系统TCP连接资源
突围
08-06 557
最近在开发基于etcd的服务发现，demo容易跑通，泡好要对etcd很了解。 原文在这里： ETCD Client 的生命周期影响系统TCP连接资源 etcd 客户端v3是基于grpc的，所以对grpc的理解很关键。 ETCD Client 的生命周期影响系统TCP连接资源 简介： 最近发现一个 ETCD Client 端的实现问题——ETCD 所在机器宕机或者断网的情况下，ETCD Client 无法快速重连到可用的 etcd 节点，导致 client 端不可用(该问题的描述后续发表文章介..
go-kit实践之3：go-kit 微服务的限流实现
weixin_42117918的博客
04-11 1210
介绍 go-kit提供了限流模块，该模块采用令牌桶算法实现，其实是封装了一下golang自带的golang.org/x/time/rate包来实现的。 令牌桶 令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以发送流量。令牌桶中的每一个令牌都代表一个字节。如果令牌桶中存在令牌，则允许发送流量；而如果令牌桶中不存在令牌，则不允许发送流量。因此，如果突发门限被合理地配置并且令牌桶中有足...
NextScan（飞刃）安装教程
qq_62326083的博客
05-12 1240
注意：启动后容器ns-minio-buckets（镜像minio/mc）为一次性执行，首次执行成功就会退出，再次启动报错不影响正常使用可忽略，属于正常情况。如果修改了docker-compose.yaml文件，需要在管理端服务器创建完整conf.ini文件并且挂载配置，按需修改文件中的配置项，用于覆盖默认配置。登录系统后，查看节点管理->节点管理，查看有对应两个节点则表示服务都启动成功。登录系统后，查看节点管理->节点管理，查看有对应两个节点则表示服务都启动成功。若在管理平台查看新增节点成功，则成功启动。
Docker搭建ETCD集群总结
xinfuxuan4的博客
02-05 837
应开发要求，部署ETCD集群，作为服务发现使用;考虑再三，决定使用Docker方式来进行安装。好处嘛，谁用谁知道； 一般来说，每种工具的官网都会有安装的方式，于是百度官网看到用docker的安装方式; ETCD官网安装方式 考虑到网上另外乱七八糟，误人不浅的文章，故打算从新整理一份，供有需要的弟兄参考，如有错漏，也望多多指正 部署步骤： 1.环境描述 集群含有三个节点(e...
quay.io国内无法访问，解决Kubernetes应用flannel失败，报错Init:ImagePullBackOff
热门推荐
普通Gopher
04-03 1万+
按照搭建Kubernetes时官网给的命令 kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml 部署完成时查看 [root@k8s-master01 flannel]# kubectl get pod -n kube-system NAME ...
mac上面通过docker部署etcd，并且测试服务注册和服务发现
stefan1240的专栏
11-06 1430
一、部署环境： macbook pro 上面安装了docker; 二、部署etcd步骤 1、mac上面下载etcd基础镜像 docker pull quay.io/coreos/etcd 2、创建网络组 在我的mac上要运行三个容器，因此创建个网络，三个容器在同一个网络里面 docker network create --subnet=192.167.0.0/16 etcdnet 容器A：192.167.0.168 容器B：192.167.0.170 容器C：192.167.0.1.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值