Go整合etcd

饱腹百科

已于 2023-07-23 13:51:06 修改

阅读量402

点赞数

分类专栏： etcd 文章标签： golang etcd

于 2023-07-20 22:18:42 首次发布

本文链接：https://blog.csdn.net/weixin_47978762/article/details/131841206

版权

etcd 是什么

etcd 是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问。通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。etcd集群是为高可用，持久性数据存储和检索而准备。etcd 以一致和容错的方式存储元数据。分布式系统使用 etcd 作为一致性键值存储，用于配置管理，服务发现和协调分布式工作。使用 etcd 的通用分布式模式包括领导选举，分布式锁和监控机器活动。

关键特性：

分布式
强一致性
键值存储
监听数据变化

使用场景

etcd 的场景默认处理的数据都是系统中的控制数据。所以 etcd 在系统中的角色不是其它 NoSQL 产品的替代品，更不能作为应用的主要数据存储。etcd 中应该尽量只存储系统中服务的配置信息，对于应用数据只推荐把数据量很小，但是更新和访问频次都很高的数据存储在 etcd 中。

作为一个受到 ZooKeeper 启发而催生的项目，它除了拥有与之类似的功能外，更专注于下面的这些点：

简单：易于部署，易使用。基于 HTTP+JSON 的 API 让你用 curl 就可以轻松使用。
安全：可选 SSL 客户认证机制。
快速：每个实例每秒支持一千次写操作。
可信：使用一致性 Raft 算法充分实现了分布式。

etcd的核心组件组成

HTTP Server：用于处理用户发送的 API 请求以及其它 etcd 节点的同步与心跳信息请求。
Store：用于处理 etcd 支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是 etcd 对用户提供的大多数 API 功能的具体实现。
Raft：Raft 强一致性算法的具体实现，是 etcd 的核心。
WAL：Write Ahead Log（预写式日志），是 etcd 的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外，etcd 就通过 WAL 进行持久化存储。WAL 中，所有的数据提交前都会事先记录日志。Snapshot 是为了防止数据过多而进行的状态快照；Entry 表示存储的具体日志内容。

通常，一个用户的请求发送过来，会经由 HTTP Server 转发给 Store 进行具体的事务处理，如果涉及到节点的修改，则交给 Raft 模块进行状态的变更、日志的记录，然后再同步给别的 etcd 节点以确认数据提交，最后进行数据的提交，再次同步。

为了保证数据的强一致性，etcd 集群中所有的数据流向都是一个方向，从 Leader （主节点）流向 Follower，也就是所有 Follower 的数据必须与 Leader 保持一致，如果不一致会被覆盖。简单点说就是，用户可以对 etcd 集群中的所有节点进行读写，读取非常简单因为每个节点保存的数据是强一致的。对于写入来说，etcd 集群中的节点会选举出 Leader 节点，如果写入请求来自 Leader 节点即可直接写入然后 Leader 节点会把写入分发给所有 Follower，如果写入请求来自其他 Follower 节点那么写入请求会给转发给 Leader 节点，由 Leader 节点写入之后再分发给集群上的所有其他节点。

leader 结点的选举

Raft 算法使用随机 Timer 来初始化 Leader 选举流程。比如说在上面三个节点上都运行了 Timer（每个 Timer 的持续时间是随机的），第一个节点率先完成了 Timer，随后它就会向其他两个节点发送成为 Leader 的请求，其他节点接收到请求后会以投票回应然后第一个节点被选举为 Leader。成为 Leader 后，该节点会以固定时间间隔向其他节点发送通知，确保自己仍是 Leader。有些情况下当 Follower 们收不到 Leader 的通知后，比如说 Leader 节点宕机或者失去了连接，其他节点会重复之前选举过程选举出新的 Leader。

命令行操作

设置key

etcdctl set key value

读取key
etcdctl get key
删除key
etcdctl rm key
监听key
etcdctl watch [-f] [-r] key

-f 除非输入CTRL+C否则一直监控，不退出
-r 监听key包括key的所有子目录下的数据

Docker 搭建本地环境

docker-compose.yaml

version: '3'

services:
  etcd:
    image: quay.io/coreos/etcd
    command: etcd --listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://0.0.0.0:2379
    por