目录
Etcd简介
Etcd是采用Go语言编写的一个分布式key-value 存储,它通过Raft协议进行leader选举和数据备份,对外提供高可用的数据存储,能有效应对网络问题和机器故障带来的数据丢失问题。同时它还可以提供服务发现、分布式锁、分布式数据队列、分布式通知和协调、集群选举等功能。
在kubernetes集群中,Etcd用于保存集群所有的网络配置和对象的状态信息。
Etcd主要解决的是分布式系统中数据一致性的问题,而分布式系统中的数据分为控制数据和应用数据,Etcd处理的数据类型为控制数据,对于很少量的应用数据也可以进行处理。
Etcd主要功能
-
基本的key-value存储
-
监听机制
-
key的过期及续约机制,用于监控和服务发现
-
原子CAS和CAD,用于分布式锁和leader选举
Etcd特点
-
完全复制:集群中的每个节点都可以使用完整的存档
-
高可用性:Etcd可用于避免硬件的单点故障或网络问题
-
一致性:每次读取都会返回跨多主机的最新写入
-
简单:包括一个定义良好、面向用户的API(gRPC)
-
安全:实现了带有可选的客户端证书身份验证的自动化TLS
-
可靠:使用Raft算法实现了强一致、高可用的服务存储目录
-
监测变更:监测特定的键或目录以进行更改,并对值的变更做出反应
-
快速:根据官方提供的benchmark数据,单实例支持每秒2K+读操作
Etcd集群中的术语
关键词 | 解释 |
---|---|
Raft Etcd | 所采用的保证分布式系统强一致性的算法 |
Node | 一个Raft状态机实例 |
Member | 一个Etcd实例。它管理着一个Node,并且可以为客户端请求提供服务 |
Cluster | 由多个Member构成可以协同工作的Etcd集群 |
Peer | 对同一个Etcd集群中另外一个Member的称呼 |
Client | 向Etcd集群发送HTTP请求的客户端 |
WAL | 预写式日志,Etcd用于持久化存储的日志格式 |
snapshot | Etcd防止WAL文件过多而设置的快照,存储Etcd数据状态 |
Proxy | Etcd的一种模式,为Etcd集群提供反向代理服务 |
Leader | Raft算法中通过竞选而产生的处理所有数据提交的节点 |
Follower | 竞选失败的节点作为Raft中的从属节点,为算法提供强一致性保证 |
Candidate | 当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始Leader竞选 |
Term | 某个节点成为Leader到下一次竞选开始的时间周期,称为一个Term |
Index | 数据项编号。Raft中通过Term和Index来定位数据。 |
Etcd架构及组件
Etcd主要分为四个部分【http server、store、raft、WAL】 HTTP Server: 用于处理用户发送的API请求以及其他etcd节点的同步与心跳信息请求
Store: 用于处理 etcd 支持的各类功能的事务,包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等,是 etcd 对用户提供的大多数 API 功能的具体实现。
Raft: Raft 强一致性算法的具体实现,是 etcd 的核心。
WAL:Write Ahead Log(预写式日志/日志先行)