分布式
zgl_dm
这个作者很懒,什么都没留下…
展开
-
一致性 hash 算法( consistent hashing )
一致性hash算法(consistenthashing)张亮consistent hashing算法早在1997年就在论文Consistenthashing and random trees中被提出,目前在cache系统中应用越来越广泛;1基本场景比如你有N个cache服务器(后面简称cache),那么如何将一个对象object映射到N个cache上呢,你很可能会采用类似下面的通用方法计算object的hash值,然后均匀的映射到到N个cache;hash(object)%N一切都运行正常,再考转载 2011-03-31 12:26:00 · 882 阅读 · 0 评论 -
CAP原理与最终一致性
<br />作者:NinGoo<br /> <br />CAP原理(CAP Theorem)<br />在足球比赛里,一个球员在一场比赛中进三个球,称之为帽子戏法(Hat-trick)。在分布式数据系统中,也有一个帽子原理(CAP Theorem),不过此帽子非彼帽子。CAP原理中,有三个要素:一致性(Consistency)可用性(Availability)分区容忍性(Partition tolerance)<br />CAP原理指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进转载 2011-03-31 14:05:00 · 967 阅读 · 0 评论 -
Quorum NWR
NWR是一种在分布式存储系统中用于控制一致性级别的一种策略。在Amazon的Dynamo云存储系统中,就应用NWR来控制一致性。让我们先来看看这三个字母的含义:N:同一份数据的Replica的份数W:是更新一个数据对象的时候需要确保成功更新的份数R: 读取一个数据需要读取的Replica的份数NWR值的不同组合会产生不同的一致性效果,当W+R>N的时候,整个系统对于客户端来讲能保证强一致性。当W+R以常见的N=3、W=2、R=2为例:N=3,表示,任何一个对象都必须有三个副本(Replica),W=转载 2011-03-31 14:43:00 · 4487 阅读 · 1 评论 -
Brewer's CAP Theorem
By Julian Browne on January 11, 2009. Filed Under architecture, business, strategy<br />On Friday 4th June 1976, in a small upstairs room away from the main concert auditorium, the Sex Pistols kicked off their first gig at Manchester's Lesser Free Tr转载 2011-03-31 15:44:00 · 1688 阅读 · 0 评论 -
Why Vector Clocks are Easy
<br />Why Vector Clocks are Easy<br /><br />January 29, 2009<br /><br />Vector clocks are confusing the first time you're introduced to them. It's not clear what their benefits are, nor how it is you derive said benefits. Indeed, each Riak developer ha转载 2011-03-31 16:17:00 · 1386 阅读 · 0 评论 -
介绍Amazon分布式存储引擎Dynamo
<br />Dynamo 是个什么东东呢?他是 Amazon 公司的一个分布式存储引擎。那么这个什么引擎又是什么?<br />首先,假设一个场景,你的网站要存储用户登陆的IP。这个问题怎么解决呢?传统的方法是用数据库。数据库提供了方便的操作接口,复杂的查询能力以及事物的保证。<br />好,现在假设大家都很喜欢你的网站,访问的人越来越多。一个数据库已经处理不过来了。于是你安装了3台数据库主机,把用户分成了三类(男人,女人,IT人;总是有某种方法把用户分成数目大致差不多的几个部分吧)。<br />转载 2011-03-31 16:22:00 · 9282 阅读 · 4 评论 -
Dynamo虚节点思想解决扩容问题
这个问题实际上是数据分布方式的问题(怎么分组)。最简单最容易想到的就是根据资源数目对数据进行哈希分布,比如算出一个哈希值,然后对资源数取模。这种简单处理的结果就是当资源数变化的时候,每个数据重新取模后,其分布方式都可能变化,从而需要迁移大量的数据。 举个简单的例子来说明一下,假设我的数据是自然数(1-20),资源现在是三台主机(A,B,C),采用取模分配方式,那么分配后A主机的数据为(1,4,7,10,13,16,19),B为(2,5,8,11,14,17,20) C(3,6,9,12,15,18转载 2011-03-31 18:57:00 · 1378 阅读 · 0 评论 -
关于Nginx 简单的负载均衡实例
一、做一简单 web 服务(getterm)二、部署web服务,分别部署到两台机器上,假定 ip 分别为 172.16.3.207 和 172.16.3.207。三、配置本地机器的域名 编辑 /etc/hosts, 添加如下记录: 127.0.0.1 dic.test.domain四、配置 Nginxupstream show.test.cupid {原创 2011-04-07 16:41:00 · 923 阅读 · 0 评论 -
Hbase伪分布,建表报错
编辑 /etc/hosts将 127.0.1.1 修改为 127.0.0.1 即可。原创 2013-10-27 11:09:54 · 1251 阅读 · 0 评论