思考与总结
文章平均质量分 70
xiaoqiangXX
这个作者很懒,什么都没留下…
展开
-
语义文件系统有意义吗?
我认为没有意义,当我对机器描述我需要查看邮件,查看一份报告时,有上层的应用识别我的语义,它将我的意思理解了转化为对文件系统的操作就好,文件系统本身是不暴露给用户,暴露给用户的才是需要语义的。比如CPU,我们需要了解CPU的构造吗?不需要,CPU需要语义CPU吗?也不需要,那么需要语义文件系统吗?自然也就不需要了。你在IPAD上看到了传统的目录文件组织方式了吗?没有啊,文件系统以后必然会退出原创 2011-11-19 21:21:32 · 929 阅读 · 0 评论 -
乐观复制算法-2.采用乐观复制技术的应用
2.采用乐观复制技术的应用乐观复制被应用到许多重要领域,包括广域网的数据管理,移动信息系统,和基于计算机的协作。为后续技术的讨论提供背景,我们将选取这些领域中的一些主要服务,介绍它们的功能和结构。2.1互联网服务对于站点间通信缓慢和不可靠的情况,乐观复制特别具有吸引力,对于互联网上的应用这一点十分突出。我们将考察两种互联网应用,一个是广播信息的应用,另一个是具有更多信息交互的应用。翻译 2013-05-23 21:34:42 · 1034 阅读 · 0 评论 -
乐观复制算法-5.多master的state-transfer系统
5.多master的state-transfer系统我们现在开始着手在多master系统中实现一致性。这一章讨论state-transfer系统;对operation-transfer系统的讨论在第6和第7章。一个state-transfer系统在每个节点包括下面组成部分:对象内容,描述副本如何更新的信息(比如,a timestamp)。副本一致性管理通常通过下面步骤实施:1)一个站点翻译 2013-05-23 21:38:59 · 973 阅读 · 0 评论 -
乐观复制算法-6.多Master的operation transfer系统
6.多Master的operation transfer系统我们转向研究多master的operation-transfer系统。Operation-transfer系统比state-transfer系统要复杂许多,因为副本为了能达到一致必须在操作集以及操作顺序上达成一致。一个operation-transfer系统工作的基本流程:1)副本从一个公共的初始状态开始2)每个Master节翻译 2013-05-23 21:40:36 · 962 阅读 · 0 评论 -
乐观复制算法-7.Operation-transfer系统中的调度和冲突处理
7.Operation-transfer系统中的调度和冲突处理本章讨论operation-transfer系统中的操作调度算法,以及为达成一致的冲突操作解决。调度紧密地依赖可靠的组通信,向所有站点传播顺序定义良好的网络消息。实际上,TSAE(Time-Stamped Anti-Entropy protocol)作为一个组通信服务出现,尽管它很容易被理解为一个乐观复制服务。本书中呈现的语法更新调翻译 2013-05-23 21:41:51 · 1143 阅读 · 0 评论 -
乐观复制算法-10.总结 附件A Happens-before关系
10. 总结本节将会对前面给出的算法和系统做一个总结,并为乐观复制系统的设计者和用户给出一些建议。10.1对比乐观复制策略表4总结了Section1.4中所介绍的乐观复制系统在最高比较层面上的不同。该表说明了这里并没有唯一的赢家;每种策略都有自己的优点和缺点。单master传输对于请求负载主要为读取的应用并仅有一个写入节点的应用是一个好的选择,因为它的实现简单同时没有冲翻译 2013-05-23 21:46:48 · 1041 阅读 · 0 评论 -
乐观复制算法-附件C-一致性模型
附件C-一致性模型对一致性模型的描述主要从三个出发点进行考虑:(1)响应前还是响应后,即在完成对所有副本数据集的同步前返回用户,还是完成同步后再给用户反馈。(2)进行同步对象的多少,是对每次更新进行同步还是在多次更新后再同步。(3)对更新顺序的维护,维护更新操作间不同的顺序会提供不同的一致性,当完全不考虑更新顺序,甚至更新的类型时,只提供最终数据的相互一致,则是最终一致性。1.原创 2013-05-23 21:48:25 · 1338 阅读 · 0 评论 -
乐观复制算法-1.介绍
乐观复制算法在分布式数据共享系统中,复制是能同时提高系统可用性和性能的一项关键技术。本文讨论的乐观复制算法,为了支持并发工作,容忍低质量通信链路中的错误,它允许副本内容在短时间内出现不一致。随着基于广域网和移动网络的协作越来越流行,这项技术也越来越重要。乐观复制算法采用的技术与传统的悲观算法有很大的不同。与悲观算法依赖于同步副本的协作不同,乐观算法在后台传播更新,在更新发生后发现冲突,逐步翻译 2013-05-23 21:33:39 · 2167 阅读 · 1 评论 -
乐观复制算法-8. 保证内容质量
8. 保证内容质量乐观复制算法不能保证单个副本的一致性。一致性仅能保证副本在静止状态是一致的,或者在过去的某一个虚拟点上是一致的。因为更新请求的到达可能是乱序,以及没有严格的传输延时限制,乐观复制难以向用户提供某一个时间点上副本内容的一致性保证。一些复制服务在采用弱一致保证时仍工作的很好。Usenet和Porcupine邮件服务就是这样的例子;副本不一致不会比NNTP和SMTP中的潜在问题翻译 2013-05-23 21:42:45 · 888 阅读 · 0 评论 -
乐观复制算法-9. 扩展乐观复制系统
9. 扩展乐观复制系统本节讨论在乐观复制环境下如何支持大量副本节点。(支持大对象的问题在5.3节已经讨论过了)我们将讨论支持许多副本的挑战以及三条补救路线:一个结构化的通信拓扑,主动式的更新推送,以及高效网络。9.1评估冲突比例支持多副本会产生两个问题:增加更新冲突以及传播延迟。更新冲突问题需要一些说明。Gray,Helland,O’Neil和Shasha指出多master的乐观复翻译 2013-05-23 21:44:55 · 931 阅读 · 0 评论 -
乐观复制算法-附件B-Version vectors算法介绍和不足
附件B-Version vectors算法介绍和不足Version vectors算法在分布式操作系统LOCUS中提出【Pope et al.1981】,用于检查分布式系统中,在网络中断期间对数据进行的并发修改是否存在冲突。下面对Version vectors算法进行说明,然后再论述该算法的不足。Version vectors算法介绍每一个副本节点对于文件f保存一个版本向量versio原创 2013-05-23 21:47:40 · 991 阅读 · 0 评论 -
乐观复制算法-3.基本定义 4.单Master系统
3.基本定义这一节介绍一些重要的词汇。3.1节说明对象,3.2节定义冲突,3.3节对冲突处理技术进行分类。3.1对象任何复制系统都有一个最小更新粒度的概念,有些系统表示为可识别的粒度,有些系统表示为可传播更新的粒度。文中我们称最小的粒度为对象。不同系统的对象可能差距巨大。比如,文件同步中,一个典型的对象是一个目录或者文件。在groupware系统中,相同的文件会被视为一个包括许多对翻译 2013-05-23 21:36:43 · 1111 阅读 · 0 评论 -
谈一下自己写论文的经验
谈一下自己写论文的经验 在学校读书的9年里面,直到最后1年才开始练习写文章,所以自己写文章的水平肯定是不高的。这里只是将自己这一年练习中遇到的困难,以及自己认为写论文是特别重要的点整理出来,供大家参考。写自己遇到的问题,是想消除大家对写文章的困难感。想告诉大家从是一个新的工作一开始都是困难的。然后写一点自己认为如何能把文章写好应该注意的方面。不过归根结底都是需要不断练习,长期积累才原创 2013-05-23 16:06:41 · 3930 阅读 · 0 评论 -
Version vectors算法介绍和不足
Version vectors算法介绍和不足 Version vectors算法在分布式操作系统LOCUS中提出【Pope et al.1981】,用于检查分布式系统中,在网络中断期间对数据进行的并发修改是否存在冲突。下面对Version vectors算法进行说明,然后再论述该算法的不足。 Version vectors算法介绍 每原创 2012-08-02 21:13:10 · 1651 阅读 · 0 评论 -
思考记录--错误状态、异常抛出与接口耦合度的关系
错误状态、异常抛出 与 接口耦合当程序中函数的调用一层一层的深入,那么如果某层的函数执行出现了错误,那么对于错误是一层一层返回,还是在不同层次上分别进行处理。 如果将错误一层一层向上返回,势必造成上次逻辑开发需要知道很多底层细节,比如。用户类需要持久化处理,那么如果是通过网络保存到另一台机上部署的DB中,那么网络异常、数据库异常等所有的错误,用户的持久化类都需要处理。现在的编译原创 2011-12-12 12:38:16 · 655 阅读 · 0 评论 -
自已的一点读书心得
自已的一点读书心得1. 大部头的书,一般当工具用,以解决问题为线索,从其中查找需要的知识。2. 必须读目录,知道书有哪些组成部分。只读目录和前几章,适合纯介绍性的书。3. 带着问题读,读一本书之前一定要问自己,为什么要读这本书,希望从中获得什么。比如想了解一个领域,想学习作者分析问题的方法,想找到工作中问题的解决办法,等等。目的不同花的时间、精力也不同。4. 需要读明白这本书主要脉原创 2012-01-11 20:24:28 · 623 阅读 · 0 评论 -
云计算对我们开发者有什么改变?
云计算对我们开发者的影响到底有多大,我们是不是人人都需要进入云计算领域?这里仅以我对计算领域简单理解来分析。 如果你是某一个特定平台或者系统上的开发者,比如桌面程序、手机程序,嵌入式程序那么云计算似乎对您的影响不大。你仍需要专注的解决你所在平台和系统上的各种资源分配、共享的问题。 如果你是一个没有特定平台或系统限制的开发人员,但是你从事的是核心算法的开发。比如你原创 2012-04-06 17:05:44 · 1045 阅读 · 0 评论 -
串行等价化 事务 并发 加锁 死锁
串行等价性,满足串行等价性的事务,可以让CPU在不同事务间切换,轮有执行。这样的当事务中含有需要长时间访问磁盘的操作时,就可以执行其他事务,提供资源利用率。同时对于短事务可以降低响应时间。 事务的串行等价性,指事务所含指令交叉执行的结果与串行一个一个执行结果似乎一样的。 事务具有串行等价的充分必要条件,如果不同事务访问的资源有重叠,含有冲突操作时,那么不同事务访问资源的原创 2012-03-22 21:21:22 · 2452 阅读 · 0 评论 -
研究方法的一点思考
研究方法的一点思考: 目前我的研究就是一个点上的问题,即文件同步。其次我的研究在理论上并没有什么突破,仅仅是将一些理论拿来解决一个具体的问题。 研究可以从下往上,研究一个一个的问题点,发现共性问题,再研究共性问题。 研究也可以从上往下,找到研究领域的根,从根上进行突破,然后反过来应用到各个点。个人认为做研究根上的两个问题:新类型的计算(确定计算、概率计算、模糊计算等),描原创 2012-05-02 11:23:34 · 777 阅读 · 0 评论 -
对Windows学习的总结
对Windows学习的总结我从事Windows平台的开发断断续续大概也有4年了。这里想对自己的学习过程进行一个总结。因为我并不是专职的开发人员,所以水平也有限。不过相比其他人的学习之路,我的总结也还颇有可取之处。首先,因为我从本科开始所学专业为计算机,现已读到博士学位,所以我的学习之路会更加扎实,不是简单编程技能的锻炼,对于所需的基础知识,我会在文中点出。其二,因为机缘,身边并没有Wi原创 2012-10-28 13:11:12 · 2949 阅读 · 0 评论 -
谈一下自己收集资料和整理资料的经验
谈一下自己收集资料和整理资料的经验 自己一直以来主要从事开发工作,对于资料收集和整理这方面做得工作不多,如果你觉得下面内容中表现出的技巧和方法比较拙劣望理解。 收集资料技巧1. 下面是我资料的重要来源,与大家分享一下1) ACM数据库,重点关注(分布式系统、分布式计算、FAST)2) Microsoft Research与存储相关的研究 http://原创 2013-05-23 15:51:47 · 4538 阅读 · 1 评论 -
计算与存储的融合
在采用稀疏分布式内存的超级计算机里,记忆与数据处理之间的差异消失了。记忆成为了感知的再现,与最初的认知行为没有什么区别。两者都是从一大堆互相连接的部件中涌现出来的模式。 --《失控》计原创 2013-05-23 16:07:31 · 5184 阅读 · 1 评论 -
副本一致性思考的角度
副本一致性思考的角度 A. 强一致性和弱一致性的本质区别是,当进程访问系统时是否允许副本之间存在不一致 B. 观察分布式系统一致性可以从这三个方面的组合来看: 多个线程还是一个线程,同一时刻还是不同时刻,同一副本还是不同副本。 组合的结果共有6种: 一个线程,同一时刻,访问同一副本, 无效的。原创 2012-08-30 16:46:10 · 918 阅读 · 0 评论 -
对测试的一点思考
对测试的一点思考 本文是对自己在实际产品中测试经验的一点总结,同时结合了从几个做测试的同学那里获得的心得。1. 测试进入越早越好软件工程是包括需求分析、设计、开发、测试这样一个流程的。测试并不应该放在最后,而是应该从需求分析就开始介入。从需求分析介入可以让测试人员获得最直接的产品功能定位,了解全面的程序功能,形成对产品全貌的认识。这样设计出来的测试案例,会在覆盖局部测原创 2012-12-04 09:38:30 · 917 阅读 · 1 评论 -
乐观复制算法
本文是关于乐观复制算法的一篇综述性文章。对于弱一致性,乐观复制的研究主要是因为三年前我们想实现一款与Dropbox类似的软件。在过去的三年间,我们完成了我们的工作,同时也解决了期间遇到的许多问题。在解决这些问题中,个人觉得《Replication: Optimistic Approaches》(Yasushi Saito, Marc Shapiro 2004)这篇文章对我们的帮助最大,所以自己抽空翻译 2013-05-23 21:31:54 · 1170 阅读 · 0 评论