ETCD 学习笔记--认识etcd

目录

什么是etcd

使用案例

优点

应用场景

概念词汇

原理

---

什么是etcd

etcd 是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问，用于配置共享和服务发现。通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。etcd集群是为高可用，持久性数据存储和检索而准备。

"etcd"这个名字源于两个想法，即 unix “/etc” 文件夹和分布式系统"d"istibuted。 “/etc” 文件夹为单个系统存储配置数据的地方，而 etcd 存储大规模分布式系统的配置信息。因此，"d"istibuted 的 “/etc” ，是为 “etcd”。

etcd 以一致和容错的方式存储元数据。分布式系统使用 etcd 作为一致性键值存储，用于配置管理，服务发现和协调分布式工作。使用 etcd 的通用分布式模式包括领导选举，分布式锁和监控机器活动。

使用案例

locksmith 在 etcd 上实现分布式信号量，确保在任何给定时间只有集群的一个子集重新启动。

Kubernetes 将配置数据存储到etcd中，用于服务发现和集群管理; etcd 的一致性对于正确安排和运行服务至关重要。Kubernetes API 服务器将群集状态持久化在 etcd 中。它使用etcd的 watch API监视集群，并发布关键的配置更改。

优点

etcd作为一个受到ZooKeeper与doozer启发而催生的项目，除了拥有与之类似的功能外，更专注于以下四点：

1） 简单：基于HTTP+JSON的API让你用curl就可以轻松使用。

2 ）安全：可选SSL客户认证机制。

3 ）快速：每个实例每秒支持一千次写操作。

4 ）可信：使用Raft算法充分实现了分布式。（etcd使用raft算法，zookeeper使用zab算法，ceph的mon选举使用paxos算法）

应用场景

场景一：服务发现（Service Discovery）

场景二：消息发布与订阅

场景三：负载均衡

场景四：分布式通知与协调

场景五：分布式锁、分布式队列

1）分布式锁：因为etcd使用Raft算法保持了数据的强一致性，某次操作存储到集群中的值必然是全局一致的，所以很容易实现分布式锁。锁服务有两种使用方式，一是保持独占，二是控制时序。

场景六：集群监控与Leader竞选

注：目前对应用场景还没有什么概念和体会，先记录后续使用中慢慢理解！

概念词汇

Raft：etcd所采用的保证分布式系统强一致性的算法。

Node：一个Raft状态机实例。

Member： 一个etcd实例。它管理着一个Node，并且可以为客户端请求提供服务。

Cluster：由多个Member构成可以协同工作的etcd集群。

Peer：对同一个etcd集群中另外一个Member的称呼。

Client： 向etcd集群发送HTTP请求的客户端。

WAL：预写式日志，etcd用于持久化存储的日志格式。

snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。

Proxy：etcd的一种模式，为etcd集群提供反向代理服务。

Leader：Raft算法中通过竞选而产生的处理所有数据提交的节点。

Follower：竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证。

Candidate：当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始竞选。

Term：某个节点成为Leader到下一次竞选时间，称为一个Term。

Index：数据项编号。Raft中通过Term和Index来定位数据。

原理

从etcd的架构图中我们可以看到，etcd主要分为四个部分：

HTTP Server： 用于处理用户发送的API请求以及其它etcd节点的同步与心跳信息请求。

Store：用于处理etcd支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是etcd对用户提供的大多数API功能的具体实现。

Raft：Raft强一致性算法的具体实现，是etcd的核心。

WAL：Write Ahead Log（预写式日志），是etcd的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外，etcd就通过WAL进行持久化存储。WAL中，所有的数据提交前都会事先记录日志。Snapshot是为了防止数据过多而进行的状态快照；Entry表示存储的具体日志内容。

通常，一个用户的请求发送过来，会经由HTTP Server转发给Store进行具体的事务处理。如果涉及到节点的修改，则交给Raft模块进行状态的变更、日志的记录，然后再同步给别的etcd节点以确认数据提交，最后进行数据的提交，再次同步。

参考转载其他博文