ETCD核心机制解析

最新推荐文章于 2024-06-25 22:41:33 发布

harvardfy

最新推荐文章于 2024-06-25 22:41:33 发布

阅读量974

点赞数 1

文章标签：分布式 java 数据库 zookeeper redis

本文链接：https://blog.csdn.net/weixin_44120629/article/details/109572195

版权

本文深入解析了ETCD的核心机制，包括基于Raft算法的分布式一致性、quorum机制确保高可用、两阶段提交的数据更新、以及KV、lease和watch API的详细分析。还介绍了ETCD的数据版本、MVCC并发控制和存储数据结构，揭示了其在并发一致性方面的设计智慧。

摘要由CSDN通过智能技术生成

ETCD整体机制

etcd 是一个分布式的、可靠的 key-value 存储系统，它适用于存储分布式系统中的关键数据。

etcd 集群中多个节点之间通过Raft算法完成分布式一致性协同，算法会选举出一个主节点作为 leader，由 leader 负责数据的同步与分发。当 leader 出现故障后系统会自动地重新选取另一个节点成为 leader，并重新完成数据的同步。

etcd集群实现高可用主要是基于quorum机制，即：集群中半数以上的节点可用时，集群才可继续提供服务，quorum机制在分布式一致性算法中应用非常广泛，此处不再详细阐述。

raft数据更新和etcd调用是基于两阶段机制：

第一阶段 leader记录log (uncommited)；日志复制到follower；follower响应，操作成功，响应客户端；调用者调用leader，leader会将kv数据存储在日志中，并利用实时算法raft进行复制

第二阶段 leader commit；通知follower；当复制给了N+1个节点后，本地提交，返回给客户端，最后leader异步通知follower完成通知

ETCD核心API分析

etcd提供的api主要有kv相关、lease相关及watch，查看其源码可知：

kv相关接口：

type KV interface {
	// Put puts a key-value pair into etcd.
	// Note that key,value can be plain bytes array and string is
	// an immutable representation of that bytes array.
	// To get a string of bytes, do string([]byte{0x10, 0x20}).
	Put(ctx context.Context, key, val string, opts ...OpOption) (*PutResponse, error)

	// Get retrieves keys.
	// By default, Get will return the value for "key", if any.
	// When passed WithRange(end), Get will return the keys in the range [key, end).
	// When passed WithFromKey(), Get returns keys greater than or equal to key.
	// When passed WithRev(rev) with rev > 0, Get retrieves keys at the given revision;
	// if the required revision is compacted, the request will fail with ErrCompacted .
	// When passed WithLimit(limit), the number of returned keys is bounded by limit.
	// When passed WithSort(), the keys will be sorted.
	Get(ctx context.Context, key string, opts ...OpOption) (*GetResponse, error)

	// Delete deletes a key, or optionally using WithRange(end), [key, end).
	Delete(ctx context.Context, key string, opts ...OpOption) (*DeleteResponse, error)

	// Compact compacts etcd KV history before the given rev.
	Compact(ctx context.Context, rev int64, opts ...CompactOption) (*CompactResponse, error)

	// Txn creates a transaction