分布式
文章平均质量分 51
cadem
饿了么北研中心架构组负责人。公众号:dongming_cdm
展开
-
GFS的分布式哲学:HDFS的一致性成就,归功于我的失败……
截取了本人新书《分布式系统与一致性》中的一章,发在dbaplus上,转回到自己的博客。这一章,自认为是非常精彩的一章。很多分布式系统在一致性方面都不是一蹴而就的,即便它非常成功。新书链接https://item.jd.com/12856377.htmlGFS(Google File System)是Google公司开发的一种分布式文件系统。虽然GFS在Google公司内部被广泛使用,但是在相当长的一段时间里它并不为人所知。2003年,Google发表一篇论文[1]详细描述了GFS,人们才开始了.原创 2021-07-05 10:52:40 · 730 阅读 · 0 评论 -
本人新书上市 《分布式系统与一致性》
好长时间没有写文章了,主要是在写一本书,书名《分布式系统与一致性》。之前写过一些分布式技术和分布式一致性的文章,但是没有系统性,所以萌生了写一本书系统讲解一下这个领域。本书通过GFS、HDFS、Google BigTable、MongoDB、RabbitMQ、Zookeeper、Google Spanner、CockroachDB这些实际的分布式系统,讲述Paxos、Raft、Zab这些分布式算法,并且基于这些实例和算法讲述分布式一致性。列举一下本书的目录,公大家参考,希望本书对大家有益。1部分 开 篇原创 2021-06-07 11:36:26 · 412 阅读 · 1 评论 -
拆解Redis Cluster,怎么实现“写安全”这个重要特性?
本文发在DBAplus公众号,https://mp.weixin.qq.com/s/Uyw7MjqMW9DR6EInFIo9Wg,在自己的博客在发一边。Redis是非常流行的缓存。在Redis升级到3.0版本后,升级到 集群 版本,被称之为 Redis cluster。在集群版本中,会将数据分成多份,被保存到多个server中,从而保证集群的水平扩展能力,加之每份数据保存多个副本,从而保证可用性。并且集群版本保证一定程度的Write Safety,本文详细介绍redis cluster的实现细节,从而分析原创 2020-09-02 19:32:28 · 336 阅读 · 0 评论 -
从 GFS 失败的架构设计来看一致性的重要性
(本文最初发于https://mp.weixin.qq.com/s/GuJ6VqZJy3ONaVOWvQT9kg,现转回到自己的博客。)GFS(Google File System)是Google公司开发的一款分布式文件系统。在2003年,Google发表一篇论文详细描述了GFS的架构。GFS,MapReduce,Bigtable并称为Google的三架马车,推动了Google的高速发展。其他互...原创 2019-10-14 13:32:57 · 1179 阅读 · 0 评论 -
NoSQL 数据库不应该放弃 Consistency
本文发于infoq,https://www.infoq.cn/article/rhzs0KI2G*Y2r9PMdeNv 。转回自己的博客。谈到 NoSQL,一定会提及一致性(Consistency),按照 CAP 定理,有些 NoSQL 数据库放弃了一致性,但是 NoSQL 放弃是必然的选择吗?从 1970’s,关系型数据库(RDB,Relational Database)被发明以来,关系型数...原创 2019-06-11 14:03:51 · 298 阅读 · 0 评论 -
如何理解Zookeeper的顺序一致性
2017饿了么做异地多活,我的团队承担Zookeeper的异地多活改造。在此期间我听到2种不同的关于一致性的说法。一种说法是Zookeeper是最终一致性,因为由于多副本、以及保证大多数成功的Zab协议,当一个客户端进程写入一个新值,另外一个客户端进程不能保证马上就能读到这个值,但是能保证最终能读取到这个值。另外一种说法是Zookeeper的Zab协议类似于Paxos协议,并且提供了强一致性。每当...原创 2018-05-18 08:47:19 · 7509 阅读 · 25 评论 -
虽然Cassandra不是CP但Cassandra是安全的
之前的一篇文章(<线性一致性(Linearizability)是并发控制的基础>),讨论过具有线性一致性的系统可以很好的控制并发访问。在另外一篇文章里(< Tunable Consistency不能让Cassandra成为CP系统>),已经讨论过,Cassandra不是一个CP系统。所以Cassandra会出现丢失更新的情况(lost write)的情况。那么Cas...原创 2018-04-13 18:50:04 · 599 阅读 · 0 评论 -
从Paxos不违反CAP来解释什么是CAP定理
CAP定理是分布式领域当中非常著名的定理,也是大家津津乐道的一个分布式定理。有些人这么理解CAP定理: 在分布式系统中, - C代表一致性 - A代表可用性, - P代表网络分区。 因为,分布式环境中,P不不可避免的,分布式系统要么选择一致性放弃可用性,要么选择可用性放弃一致性。另外,很多人也这样一个认识: Paxos协议(包括与之类似的Zab协议-zookeeper,Raf...原创 2018-04-13 18:29:31 · 1900 阅读 · 1 评论 -
线性一致性(Linearizability)是并发控制的基础
在我的其他几篇文章里,已经多次提到线性一致性(Linearizability),那么到底线性一致性(Linearizability)是什么?线性一致性(Linearizability)有什么用处?虽然,我们最常提到Linearizability是在讨论分布式系统的时候,但其实Linearizability是一个并发编程(concurrent programming)领域的概念。线性一致性又...原创 2018-04-13 17:52:41 · 5139 阅读 · 2 评论 -
Tunable Consistency不能让Cassandra成为CP系统
Cassandra有一个非常重要的特性,叫做Tunable Consistency。当RW>N时保证副本保持strong consistency,当RW=< N时系统的所有副本保持最终一致性。(关于这个特性可以参看< Cassandra的副本策略>这个文章)在Cassandra的文档中,有这样的一段话:You can tune Cassandra’s consist...原创 2018-04-13 17:23:23 · 742 阅读 · 0 评论 -
Cassandra的副本策略
我们知道Cassandra会将数据写多个副本。但是Cassndra如何将数据写入多个副本的那?这就是Cassandra的副本策略。Cassandra有一个特性叫做Tunable Consistency,用来控制副本策略。我们可以为每个读写操作设置consistency level,也可以设置全局的consistency level。Consistencly Level分为write con...原创 2018-04-13 16:56:10 · 2172 阅读 · 0 评论 -
Kafka的副本复制策略
Kafka会把topic partitions的数据复制到一组server上,当一个Server宕机时可以做自动的故障恢复(automatic failover)。实际是把日志复制到一组机器上,一种基于日志的复制状态机(这里就不讨论这个)。Kafka的每个topic portition的都会有一个leader,并且有0~n个follower。每个follower都会像一个普通的consumer...原创 2018-03-09 19:15:51 · 2748 阅读 · 0 评论 -
Paxos分析之一—Paxos是什么
对Paxos协议进行分析,解析Paxos是什么原创 2017-08-10 21:34:17 · 1192 阅读 · 0 评论 -
消息队列的exclusive consumer功能是如何保证消息有序和防止脑裂的
一般来说,消息队列都会保证queue当中的消息的顺序。然而如果有多个consumer同时消费同一个queue,那么这时就不能保证的消息的顺序性。有时候,消息的顺序是非常重要的,为了能顺序的消费消息,我们只能启动一个consumer来消费这个queue。原创 2017-04-13 14:03:59 · 2810 阅读 · 0 评论 -
RabbitMQ主备复制是异步还是同步?
我们知道RabbitMQ可以配置成Queue做主从复制(按照官方的说法叫配置mirror queue),对master queue的写操作会被复制到其他slave上去(也就是复制到mirror queue上去)。这对rabbitmq的这个特性,有些人会问这样的问题,rabbitmq的主从复制是同步的还是异步的?为什么有些人会问这个问题那?原创 2017-04-01 21:04:44 · 8286 阅读 · 0 评论 -
Zookeeper,etcd,consul内部机制和分布式锁和选主实现的比较
我的另外3篇文章分别介绍了Zookeeper,etcd,consul是如何实现分布式锁和选主的。本文想比较一下Zookeeper、etcd、consul内部机制有哪些不同,他们实现锁和选主的方式相同和不同。原创 2017-02-23 13:35:21 · 5636 阅读 · 0 评论