复制算法乐观复制算法

最新推荐文章于 2022-09-08 17:52:54 发布
最新推荐文章于 2022-09-08 17:52:54 发布
阅读量126 收藏
点赞数
文章标签： 运维

文章结束给大家来个程序员笑话：[M]

    

     本文是关于悲观复制算法的一篇综述性文章。对于弱一致性，悲观复制的研究重要是因为三年前我们想实现一款与Dropbox类似的软件。在过去的三年间，我们完成了我们的工作，同时也处理了期间遇到的许多问题。在处理这些问题中，个人认为《Replication: Optimistic Approaches》(Yasushi Saito, Marc Shapiro 2004)这篇文章对我们的帮助最大，所以自己抽空将全文翻译了出来。

下面我先给出全文的大纲，全文一共有70多页。前60是对原文的翻译，后10多页（附件B和附件C）是自己的一些懂得和思考。


悲观复制算法

目录

1.分析...1

1.1悲观复制算法和他们的范围...2

1.2悲观复制：总述与优点...3

1.3悲观复制：目标和挑战...5

1.3.1一致性...5

1.3.2内容品质保障...8

1.3.3扩展性...8

1.4路线图9

2.采用悲观复制技术的应用...11

2.1互联网服务...11

2.1.1DNS：广域网上的缓存和镜像...11

2.1.2Usenet：广域网信息交换...12

2.2移动数据系统...13

2.3 CVS：计算帮助协作...13

2.4总结14

3.基本定义...15

3.1对象15

3.2一致性和冲突...16

3.3冲突处理技术的分类...18

4.单Master系统...20

5.多master的state-transfer系统...21

5.1应用Thomas写规矩的更新传播与冲突处理...21

5.2在State-transfer系统中检测与处理冲突...23

5.2.1 Two-Timestamp算法...23

5.2.2版本向量...25

5.2.3 State-transfer系统的冲突处理...26

5.3支持大对象...26

5.4在空间上的开销...27

6.多Master的operation transfer系统...29

6.1结构一个日记...31

6.2应用Timestamp向量的更新传播...32

7.Operation-transfer系统中的调度和冲突处理...35

7.1语法操作调度...36

7.2语义操作调度...37

7.2.1发掘交换特性...37

7.2.2范例操作排序...37

7.2.3 IceCube中的语义调度...38

7.3操作转换...39

7.4处理冲突操作...40

7.5提交操作...41

7.5.1 Ack Vectors.41

7.5.2 Primary Commit Protocol42

7.5.3 Quorum Commit Protocal42

8.保障内容品质...44

8.1保障访问请求间的因果关系...44

8.1.1明白的因果依附...45

8.1.2 Session保障...45

8.2限制不一致...47

8.3用概率技术来下降不一致...48

9.扩展悲观复制系统...49

9.1评估冲突比例...49

9.2通过控制通信拓扑结构来扩展系统...50

9.3推送技术...51

9.3.1 Blind Flooding.52

9.3.2连接状态监控技术...52

9.3.3时间戳矩阵：估计远端节点的状态...53

9.4添加和移除master节点...54

10.总结...56

10.1比较悲观复制策略...56

10.2算法总结...57

附件A.1 Happen-before 关系...60

附件B-Version vectors算法分析和不足...61

附件C-一致性模型...64

1.相互一致性...64

2.强一致性66

3.弱一致性67

3.1 Read-your-write.68

3.2 Session consistency.69

3.3单调读一致性Monotonic read consistency.70

3.4单调写一致性Monotonic write consistency.71

3.5因果一致性Causal consistency.72

4.终究一致性...72


    每日一道理
谁说人与人隔着遥远的重洋，谁说心与心设着坚固的堤防？十六岁的鸟儿飞上天空，总会找到落脚的枝头。

    

    

    

文章结束给大家分享下程序员的一些笑话语录： 很多所谓的牛人也不过如此，离开了你，微软还是微软，Google还是Google，苹果还是苹果，暴雪还是暴雪，而这些牛人离开了公司，自己什么都不是。

--------------------------------- 原创文章 By
复制和算法
---------------------------------

D_SJ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java8集合源码分析-pangdan:面试相关技能
06-04
java8 集合源码分析 pangdan 算法和数据结构 数组、链表、二叉树、队列、栈的各种操作（性能，场景） 二分查找和各种变种的二分查找 各类排序算法以及复杂度分析（快排、归并、堆） 各类算法题（手写） 理解并可以分析时间和空间复杂度。 动态规划（笔试回回有。。）、贪心。 红黑树、AVL树、Hash树、Tire树、B树、B+树。 图算法（比较少，也就两个最短路径算法理解吧） 计算机网络 OSI7层模型（TCP4层）等 数据库 数据库（最多的还是mysql，Nosql有redis） 索引（包括分类及优化方式，失效条件，底层结构） sql语法（join，union，子查询，having，group by） 引擎对比（InnoDB，MyISAM） 数据库的锁（行锁，表锁，页级锁，意向锁，读锁，写锁，悲观锁，乐观锁，以及加锁的select sql方式） 隔离级别，依次解决的问题（脏读、不可重复读、幻读） 事务的ACID B树、B+树 优化（explain，慢查询，show profile） 数据库的范式。 分库分表，主从复制，读写分离。 Nosql相关（redis和memcached区别之
乐观复制算法
weixin_30305735的博客
05-23 81
本文是关于乐观复制算法的一篇综述性文章。对于弱一致性，乐观复制的研究主要是因为三年前我们想实现一款与Dropbox类似的软件。在过去的三年间，我们完成了我们的工作，同时也解决了期间遇到的许多问题。在解决这些问题中，个人觉得《Replication: Optimistic Approaches》(Yasushi Saito, Marc Shapiro 2004)这篇文章对我们的帮助最大，所...
悲观模式下分库分表合并迁移
weixin_42241611的博客
09-08 167
本文介绍了 DM 提供的悲观模式（默认模式）下分库分表合并迁移功能。此功能用于将上游 MySQL/MariaDB 实例中结构相同的表迁移到下游 TiDB 的同一个表中。
【java】乐观锁与悲观锁
XYZ
10-06 255
一般来说，对于并发的场景，我们通常使用锁来保证线程安全： 锁是一种悲观的策略。它总是假设每一次的临界区操作会产生冲突，因此，必须对每次操作都小心翼翼。如果有多个线程同时需要访问临界区资源，就宁可牺牲性能让线程进行等待，所以说锁会阻塞线程执行； 无锁是一种乐观的策略，它会假设对资源的访问是没有冲突的。既然没有冲突，自然不需要等待，所以所有的线程都可以在不停顿的状态下持续执行。无锁的策略使用一种叫做...
乐观复制算法-1.介绍
weixin_30268071的博客
05-23 130
乐观复制算法 在分布式数据共享系统中，复制是能同时提高系统可用性和性能的一项关键技术。本文讨论的乐观复制算法，为了支持并发工作，容忍低质量通信链路中的错误，它允许副本内容在短时间内出现不一致。随着基于广域网和移动网络的协作越来越流行，这项技术也越来越重要。 乐观复制算法采用的技术与传统的悲观算法有很大的不同。与悲观算法依赖于同步副本的协作不同，乐观算法在后台传播更新，在更新...
乐观复制算法-9. 扩展乐观复制系统
xiaoqiangXX的专栏
05-23 898
9. 扩展乐观复制系统 本节讨论在乐观复制环境下如何支持大量副本节点。（支持大对象的问题在5.3节已经讨论过了）我们将讨论支持许多副本的挑战以及三条补救路线：一个结构化的通信拓扑，主动式的更新推送，以及高效网络。 9.1 评估冲突比例 支持多副本会产生两个问题：增加更新冲突以及传播延迟。更新冲突问题需要一些说明。Gray，Helland,O’Neil和Shasha指出多master的乐观复
四轨直销系统(四四复制)带计算源码无加密
03-04
四轨直销系统(四四复制)带计算源码无加密 后台地址：jzzgg.asp 帐号密码：admin 0 then if isnull(HyWeekRs("MaxComputeWeek")) then MaxComputeWeek=1 else MaxComputeWeek=HyWeekRs("MaxComputeWeek")+1 end if else MaxComputeWeek=1 end if set HyWeekRs=nothing set HyExcelRs=nothing set HyExcelRs=server.CreateObject("adodb.recordset") sql = "SELECT HyNumber,isfour FROM HyClub where IsApproved=true " HyExcelRs.Open sql,conn,1,1 j=HyExcelRs.RecordCount if j>0 then while (not HyExcelRs.eof) set ComputeRs=server.CreateObject("adodb.recordset") sql="" HyNumber=HyExcelRs("HyNumber") isfour=HyExcelRs("isfour") set HyRs888=server.CreateObject("adodb.recordset") sql = "select HyManageTotal_Left from HyMoneyAccount where HyNumber ='" & HyNumber & "'" HyRs888.Open sql,conn,1,1 if HyRs888.recordcount=0 then left_old=0 else left_old=HyRs888("HyManageTotal_Left") if left_old="" or isnull(left_old) then left_old=0 end if end if set HyRs888=nothing LeftCount=0 MiddleCount=0 MiddleLCount=0 RightCount=0 If GetHyParentNumberCount(HyNumber)=4 Then LeftCount=GetLeftCountLevel(HyNumber,1,1,8) MiddleCount=GetMiddleCountLevel(HyNumber,1,1,8) MiddleLCount=GetMiddleLCountLevel(HyNumber,1,1,8) RightCount=GetRightCountLevel(HyNumber,1,1,8) End if 'response.write LeftCount&"|"&MiddleCount;&"|"&RightCount;&"" TeamManageMoney=0 Temp
Distributed systems for fun and profit翻译-4. Replication
kyfzx的博客
02-28 363
原文地址：http://book.mixu.net/distsys/replication.html 复制问题是分布式系统中的众多问题之一。我选择把重点放他而不是其他问题上，比如领导人选举、失败检测、互斥、共识和全局快照，因为他往往是人们最感兴趣的部分。例如，区分并行数据库的一种方法是根据它们的复制特性。此外，复制为许多子问题提供了上下文，如领导人选举、故障检测、共识和原子广播。 复制是一个组通信...
乐观复制算法-8. 保证内容质量
xiaoqiangXX的专栏
05-23 855
8. 保证内容质量 乐观复制算法不能保证单个副本的一致性。一致性仅能保证副本在静止状态是一致的，或者在过去的某一个虚拟点上是一致的。因为更新请求的到达可能是乱序，以及没有严格的传输延时限制，乐观复制难以向用户提供某一个时间点上副本内容的一致性保证。 一些复制服务在采用弱一致保证时仍工作的很好。Usenet和Porcupine邮件服务就是这样的例子；副本不一致不会比NNTP和SMTP中的潜在问题
乐观复制算法-3.基本定义 4.单Master系统
xiaoqiangXX的专栏
05-23 1077
3.基本定义 这一节介绍一些重要的词汇。3.1节说明对象，3.2节定义冲突，3.3节对冲突处理技术进行分类。 3.1 对象 任何复制系统都有一个最小更新粒度的概念，有些系统表示为可识别的粒度，有些系统表示为可传播更新的粒度。文中我们称最小的粒度为对象。不同系统的对象可能差距巨大。比如，文件同步中，一个典型的对象是一个目录或者文件。在groupware系统中，相同的文件会被视为一个包括许多对
信息系统安全工程课程设计
11-30
康内尔大学教授 Frank Rosenblatt 1957年 提出的“感知器” （Perceptron），是第一个用算法来精确定义神经网络，第一个具有自组织自学习能力的数学模型，是日后许多新的神经网络模型的始祖。 Rosenblatt 乐观地预测...
6.824-lecture-notes:6.824分布式系统
03-11
第3讲：：主备份复制，状态转移，“裂脑”，Remus（NSDI 2008）， 第4课：：平面数据中心存储，二等分带宽，条带化 讲座5： ：Paxos，共识算法 第6：：筏，一种更易于理解的共识算法 讲座7：Russ Cox的Google Go 第...
Java后端面试问题整理.docx
07-16
• 熟悉Java多线程并发中线程基本方法，线程池，线程生命周期，熟悉Java锁中常见锁分类(乐观/悲观锁、自旋锁、独/共享锁、可重入锁、公平/非公平锁、分段锁、偏向锁，轻/重量级锁)和基本的锁升级策略
【白雪红叶】JAVA学习技术栈梳理思维导图.xmind
04-25
乐观锁 行级锁 分布式锁 分区排队 一致性 一致性算法 paxos zab nwr raft gossip 柔性事务（TCC） 一致性原理 CAP BASE 中间件 数据库 mysql 存储引擎 索引 锁 oracle db2 缓存 redis ...
GC_4_GC复制算法
伍叶的博客
04-06 2055
4 GC复制算法   Copying GC是Marvin L.Minsky在1963年研究出来的算法。就是只把某个空间里的活动对象复制到其它空间，把原空间里的所有对象都回收掉。在此，将复制活动对象的原空间称为From空间，将粘贴活动对象的新空间称为To空间。 4.1 什么是GC复制算法   GC复制算法是利用From空间进行分配的。当From空间被完全占满时，GC会将活动对象全部复制到T
乐观复制算法-6.多Master的operation transfer系统
xiaoqiangXX的专栏
05-23 920
6.多Master的operation transfer系统 我们转向研究多master的operation-transfer系统。Operation-transfer系统比state-transfer系统要复杂许多，因为副本为了能达到一致必须在操作集以及操作顺序上达成一致。一个operation-transfer系统工作的基本流程： 1）副本从一个公共的初始状态开始 2）每个Master节
乐观复制算法-2.采用乐观复制技术的应用
weixin_30372371的博客
05-23 90
2. 采用乐观复制技术的应用乐观复制被应用到许多重要领域，包括广域网的数据管理，移动信息系统，和基于计算机的协作。为后续技术的讨论提供背景，我们将选取这些领域中的一些主要服务，介绍它们的功能和结构。2.1 互联网服务对于站点间通信缓慢和不可靠的情况，乐观复制特别具有吸引力，对于互联网上的应用这一点十分突出。我们将考察两种互联网应用，一个是广播信息的应用，另一个是具有更多信息交互的应用。1.1....
对象的深复制方法(对象流实现)
蜗牛程序员
01-11 873
1.深复制地址发生变化： 对象流.A@3ec44cfb 对象流.A@3a087286 2.深复制内容互不影响： 修改前： a1: A [a=a1:a, b=a1:b] a2: A [a=a1:a, b=a1:b] 修改后： a1: A [a=a1:a, b=a1:b] a2: A [a=a2:a, b=a2:b] 3.代码： import java.io.Byte
Java千百问_07JVM架构（009）_什么是新生代的复制算法
幽灵雾的专栏
05-28 4087
所谓复制算法（Copying），即将内存平均分成A区、B区两块，进行复制+清除垃圾的操作，算法图解如下：算法过程： 新生对象被分配到A块中未使用的内存当中。当A块的内存用完了， 把A块的存活对象复制到B块。 清理A块所有对象。
redis 主从复制算法是什么
最新发布
05-13
Redis主从复制的算法主要有以下几个步骤： 1. 从服务器连接主服务器，发送 SYNC 命令请求同步数据。 2. 主服务器接收到 SYNC 命令后，发送快照文件和增量文件给从服务器。 3. 从服务器接收到快照文件和增量文件后...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值