分布式系统
文章平均质量分 64
hyyangyang
这个作者很懒,什么都没留下…
展开
-
关于租约,关于我的第一篇技术博客
我从高中开始就有写点东西的习惯,不过都是一些对某些事情的感想,对于技术博客倒真没写过,有的也仅仅是转载。上次在新浪微博里看到很多IT牛人建议,如果贡献不了代码,贡献一些技术文档也好的,于是我采纳了他的建议,而且我实习的室友也建议我将关于这部分内容写下来,作为我的第一篇技术博客。 我现在越来越感觉到,计算机中的大部分东西都是来自于生活。比如接下来要讨论的租约。回归到生活中,从主客体的角原创 2011-12-10 15:30:37 · 675 阅读 · 2 评论 -
Heartbeat安装
Heartbeat提供了高可用集群最基本的功能,例如,节点间的内部通信方式、集群合作管理机制、监控工具和失效切换功能等。但是Heartbeat仅仅是个HA软件,它仅能完成心跳监控和资源接管,不会监视它控制的资源或应用程序。要监控资源和应用程序是否运行正常,必须使用第三方的插件,例如ipfail、Mon和Ldirector等。Heartbeat自身包含了几个插件,分别是ipfail、Stonith和转载 2012-01-06 20:32:06 · 496 阅读 · 0 评论 -
分布式存储系统设计 - Vector Clock vs. Client Timestamps
本文转自http://hi.baidu.com/quest2run/blog/item/0462243b11d7d63597ddd898.html 对存在写冲突的配置,如 (W+R ,需要有冲突解决方案,典型的是:矢量时钟和客户端时间戮。 1 矢量时钟 Vector Clock(参考版本化数据)是服务端用于存在因果关系的版本冲突的解决方案,目的是减轻版本冲突对Client的侵扰,从而降转载 2012-01-28 14:45:09 · 694 阅读 · 0 评论 -
大量小文件的实时同步方案
传统的文件同步方案有rsync(单向) 和 unison(双向)等,它们需要扫描所有文件后进行比对,差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将非常耗时。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。 之前看了Amazon的Dynamo的设计文档,它们每个节点的数据是通过Hash Tree来实现同步,既有通过日志来同步的软实时特点(msyql, bdb等),也可以转载 2012-01-30 10:52:21 · 791 阅读 · 0 评论 -
TFS与其他分布式存储系统的对比分析
TFS与其他分布式存储系统的对比分析 1 概述 TFS(Taobao File System),作为目前淘宝内部使用并开源的分布式文件系统,为淘宝提供海量小文件存储以及其他一些功能,被广泛地应用在淘宝各项应用中。其他分布式存储系统,这里主要指的是最近我通过读论文以及网络上的技术文档和分享所了解到的一些大公司所采用的存储系统,其中包括Google的GFS,BigTable(BT),Amaz原创 2012-02-02 16:09:20 · 5775 阅读 · 5 评论 -
TFS中的NS架构
从总的功能上说,Nameserver(以下简称Ns)具体包括以下几个功能。由于Ns(不管是主还是备)需要知道自己的状态是否正常,于是Ns有一个自身的健康状态检查。另外,主Ns需要知道备Ns的状态,于是主备Ns之间有个定期Keepalive的过程,除此之外,主Ns中关于Block的变更,复制压缩等变化将以操作日志重放的方式同步到备Ns中的。Ns还需要接收Ds定期发起的心跳以及Block汇报消息,以便原创 2012-07-23 19:09:49 · 714 阅读 · 1 评论 -
从tfs优化看分布式存储系统
因为TFS是采用星型的设计架构的,通过一个Nameserver和多个Dataserver来对外进行服务,并且Nameserver中的元数据均是存放在内存中,因此如何减少Nameserver中内存的占用量,以及如何提高Nameserver的服务能力,减少单点的压力便成了TFS进行优化的一个重要方向。 对于读文件操作,客户端首先将TFS文件名进行解析(其实这一步也是为了减轻Ns的压力,原创 2012-11-11 12:42:07 · 732 阅读 · 0 评论