- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 PhxQueue：高可用、高可靠、高性能的分布式队列
PhxQueue：高可用、高可靠、高性能的分布式队列1. 整体架构2. 详细说明PhxQueue 由下列5个模块组成。Store - 队列存储Store 作为队列存储，引入了 PhxPaxos 库，以 Paxos 协议作副本同步。只要多数派节点正常工作及互联，即可提供线性一致性读写服务。为了提高数据可靠性，同步刷盘作为默认
2017-09-18 23:48:44
4489
转载 Raft 的优化
Raft 的优化Simple Request Flow这里首先介绍一下一次简单的 Raft 流程：Leader 收到 client 发送的 request。Leader 将 request append 到自己的 log。Leader 将对应的 log entry 发送给其他的 follower。Leader 等待 follower 的结果，如果大多
2017-09-11 22:20:57
1475
原创 Raft membership change
Raft membership change要保证成员变更过程中的safety，就要保证在任何时候，都不会出现双主。如果一次成员变更中，将成员组立刻切换为新的成员组，那么就会因为各个成员之间不能同时生效而导致双主，如图。从(S1,S2,S3)变为(S1,S2,S3,S4,S5)的变更中，因为各个成员上变更生效时间不同，可能导致在中间某个时刻，出现两个di
2017-09-10 11:36:27
1052
原创 paxos协议更新日志
paxos协议更新日志基于Paxos协议的数据同步与传统主备方式最大的区别在与Paxos只需任意超过半数的副本在线且相互通信正常，就可以保证服务的持续可用，且数据不丢失。Basic paxos协议更新日志我们将数据持久化的需求抽象为：在N个server的机群上，持久化数据库或者文件系统的操作日志，并且为每条日志分配连续递增的logID，我们允许多个客户端并发
2017-09-10 10:52:19
736
原创 分布式系统的Reliability和Availability区别
分布式系统的Reliability和Availability区别Reliability和Availability分别对应可靠性和可用性, 这两个概念既有区别也有联系:Reliability定义为一个服务连续无故障运行的时间，无故障运行的时间越长，可靠性就越高。Availiability定义为在足够长的时间里，比如一年的时间里，一个服务可用的时间，服务可用时间越长越好。一
2017-09-09 17:00:23
4513
原创 TiDB系统架构
TiKV架构 TiKV 是一个分布式的 KV 系统，目前是pingCAP公司开源的系统。它采用 Raft 协议保证数据的强一致性，同时使用 MVCC + 2PC 的方式实现了分布式事务的支持。 TiKV的整体架构如下： Placement Driver : Placement Driver (PD) 负责整个集群的管理调度。Node :
2017-09-05 23:13:19
2928
转载 通过 raft 的 leader lease 来解决集群脑裂时的 stale read 问题
通过 raft 的 leader lease 来解决集群脑裂时的 stale read 问题问题： 当 raft group 发生脑裂的情况下，老的 raft leader 可能在一段时间内并不知道新的 leader 已经被选举出来，这时候客户端在老的 leader 上可能会读取出陈旧的数据（stale read）。 比如，我们假想一个拥有 5 个节点的 raft group:
2017-09-04 00:30:51
6107
3
转载 一个故事讲完https
一个故事讲完https转载地址：一个故事讲完https今天来聊一聊https 安全传输的原理。在开始之前，我们来虚构两个人物， 一个是位于中国的张大胖（怎么又是你？！）， 还有一个是位于米国的Bill (怎么还是你？！)。这俩哥们隔着千山万水，通过网络联系上了， 两个人臭味相投，聊得火热。此时正值米
2017-09-03 22:36:07
855
1
原创 阿里x-paxos基础库
阿里x-paxos基础库 x-paxos是阿里开发的一致性基础库，下面有两篇文章详细介绍了x-paxos。 1. 号称史上最晦涩的算法Paxos，如何变得平易近人？点击打开链接 2. 阿里如何实现高性能分布式强一致的独立 Paxos 基础库？点击打开链接
2017-09-03 22:16:22
2791
原创 Bitcask存储系统架构设计思想
Bitcask存储系统架构设计思想Bitcask模型是一种日志型键值模型。所谓日志型，是指它不直接支持随机写入，而是像日志一样支持追加操作。Bitcask模型将随机写入转化为顺序写入。有两个好处：提高随机写入的吞吐量，因为写操作不需要查找，直接追加即可如果使用SSD作为存储介质，能够更好的利用新硬件的特性Bitcask中存在3种文件，包括数据文件,索引文件和线索
2017-09-02 16:13:40
5216
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人