etcd
文章平均质量分 84
etcd
九千⑦
要么搞大。要么搞砸
展开
-
etcd的多版本并发控制
系列文章目录浅谈分布式系统与一致性协议(一)浅谈分布式系统与一致性协议(二)浅谈分布式系统与一致性协议(三)深入浅出之etcd深入浅出之etcd(二)etcd版本之v3etcd之安全性阐述在数据库领域,并发控制是一个具有挑战性的领驭。常见的并发控制方式包括悲观并发控制,乐观并发控制和多版本并发控制悲观并发控制在关系型数据库中,并发控制(又名悲观锁,Pessimistic Concurrency Control ,PCC)是一种并发控制的方法。它可以阻止一个事物以影响其他用户的方式来修原创 2020-08-29 00:03:56 · 1665 阅读 · 0 评论 -
深入浅出之etcd
分布式系统的难点在于“部分失败”。部分失败指信息在网络的两个节点之间传送出现了故障,发送者不知道接收者是否收到了这个信息,并且导致这种故障的原因很多,接收者也可能在发生网络错误之前收到了信息,也可能没收到。现在的键值数据库基本都是分布式的,Zookeeper是其中久负盛名的一个,它有很成熟,丰富的特性,但它有自己的缺点,具体如下:复杂:ZooKeeper部署维护比较复杂,管理员必须掌握一系列知识,Zookeeper使用的Pzxos强一致性算法不易于理解Zookeeper仅提供Java和C两种接口,另原创 2020-07-30 22:56:58 · 971 阅读 · 1 评论 -
深入浅出之etcd(二)
etcd典型应用场景etcd的定位是通用的一致性key/value存储,但也有服务发现和共享配置的功能。。因此,典型的etcd应用场景包括但不限于分布式数据库,服务注册与发现,分布式锁,分布式消息队列,分布式系统选主等。服务注册与发现服务发现(Service Discovery)要解决的是分布式系统中最常见的问题之一,即在同一个分布式集群中的进程或者服务如何才能找到对方并且建立链接。从本质上将,服务发现就是了集群中是否有进程在监听UDP或者TCP端口,并且通过名字就可以进性查找和链接。实现服务发现功能原创 2020-08-01 18:49:42 · 1213 阅读 · 0 评论 -
浅谈分布式系统与一致性协议(一)
分布式文件系统现如今,计算能力的提升很多时候都源自系统采用了分布式架构,简单来说分布式文件系统就是一组计算机节点和软件共同对外提供服务的系统。在分布式系统中各个节点之间的协作是通过网络进行的,仅通过消息传递进行通信和协调。分布式系统的设计目标通常包括几个方面:可用性:可用性是分布式系统的核心需求,衡量了一个分布式系统持续对外提供服务的能力。可扩展性:增加及其后不会改变或者极少改变系统行为,并且获得相似的线性的性能提升容错性:系统发生错误时,具有对错误进行规避以及从错误中恢复的能力 性能:对外服务原创 2020-07-26 00:19:00 · 780 阅读 · 0 评论 -
浅谈分布式系统与一致性协议(二)
Raft协议Raft协议是斯坦福大学的Diego Ongaro和Jonhn Ousterhout在论文In Search of an Understandable Consensus Alogorithm中提出的,Raft算法比Paxos更易于理解,可以说是为了理解而生,这一点也可以从论文的名字察觉Raft算法主要使用两种方法提高理解性,即问题分解减少状态空间问题分解Raft算法将问题分解为领袖选举(leader election),日志复制(log replication),安全性(sa原创 2020-07-26 16:47:47 · 402 阅读 · 0 评论 -
etcd版本之v3
概述etcd v3存储的数据通过KV API对外暴露,并在API的层级支持mini事务。并且为了保证向后兼容,保留了etcd v2的协议与API。也就是说etcd v2和etcd v3本质上是共享一套Raft协议代码的,区别是API不同,存储不同,数据互相隔离。v2的数据只能通过v2的API访问,v3的数据只能通过v3的API访问。etcd v2 到 etcd v3etcd广泛应用到分布式网络,服务发现,配置中心,分布式系统调度和负载均衡领域。etcd专注于key-value存储而不是完整的数据库,原创 2020-08-22 16:10:58 · 2244 阅读 · 1 评论 -
etcd之安全性阐述
etcd安全是指安全模式下etcd的运行状态,接下来从访问安全和传输安全两方面来阐述etcd的安全性访问安全包括用户的认证和授权,传输安全指使用SSL/TLS来加密数据通道访问安全用户权限功能在etcd 2.1之后增加的,在2.1版本之前,etcd是一个完全开放的系统,任何用户都可以通过REST API修改etcd存储的数据。etcd在2.1中增加了用户(User)和角色(Role)的概念,引入了用户认证的功能。为了保证向后兼容和可升级性,etcd的用户权限功能默认关闭。无论数据信道是否经过加密(SS原创 2020-08-26 23:02:44 · 1228 阅读 · 0 评论 -
浅谈分布式系统与一致性协议(三)
Raft一致性算法的安全性Raft算法是强领导人模型,当Follwer与Leader发生冲突,将无条件服从Leader。所以在选举阶段保证Leader自身日志正确是非常重要的一环(Leader选举阶段可见 浅谈分布式系统与一致性协议 二 )。所以要在选举阶段加一个限制规则保证任何Leader都拥有之前任期提交的全部的日志条目。Raft算法采用了一种更为简单的方式来保证新当选的Leader拥有所有的已提交的日志条目,这样就不需要将这些条目传给新的Leader。这种方式隐含了以下两点:没有包含所有的已提原创 2020-07-28 00:44:16 · 341 阅读 · 0 评论 -
etcd之日志和快照管理
系列文章目录浅谈分布式系统与一致性协议(一)浅谈分布式系统与一致性协议(二)浅谈分布式系统与一致性协议(三)深入浅出之etcd深入浅出之etcd(二)etcd版本之v3etcd之安全性阐述etcd的多版本并发控制目录系列文章目录概述数据的持久化和复制etcd的日志管理WAL文件物理格式WAL文件的初始化WAL追加日志项etcd v2的快照管理创建快照概述etcd对数据的持久化采用的是binlog(日志,也称为WAL,即Write-Ahead-Log)加Snapshot(快照)的方式原创 2020-08-30 16:05:18 · 6120 阅读 · 0 评论