![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式计算
文章平均质量分 81
icycolawater
这个作者很懒,什么都没留下…
展开
-
consistent hashing & memcached
前言:我们知道以往资料要放到 M 台服务器上,最简单的方法就是取余数 (hash_value % M) 然后放到对应的服务器上,那就是当添加或移除服务器时,缓存重组的代价相当巨大。 添加服务器后,余数就会产生巨变,这样就无法获取与保存时相同的服务器, 从而影响缓存的命中率。下面这篇文章写的非常好,结合memcached的 特点利用Consistent hasning 算法,可以打造转载 2012-01-13 00:02:48 · 547 阅读 · 0 评论 -
分布式哈希表和一致性哈希
原文地址:http://hi.baidu.com/hins_pan/blog/item/8a3c90c50c6990d838db497d.html分布式哈希(DHT)两个key point:每个节点只维护一部分路由;每个节点只存储一部分数据。从而实现整个网络中的寻址和存储。DHT只是一个概念,提出了这样一种网络模型。并且说明它是对分布式存储很有好处的。但具体怎么实现,并不是转载 2012-02-13 15:14:53 · 2999 阅读 · 0 评论 -
正确理解cap 理论
CAP 理论在搞分布式的程序员中已经是路人皆知了。但是 CAP 理论就好比是相对论,虽然所有的人都知道,但是却没有多少人真正理解。 要真正理解 CAP 理论必须要读懂它的形式化描述。 形式化描述中最重要的莫过于对 Consistency, Availability, Partition-tolerance 的准确定义。 Consistency (一致性) 实际上等同于系统领域的 b转载 2012-02-22 11:13:45 · 1122 阅读 · 0 评论 -
brewer's cap theory 详解
CAP定理指在设计分布式系统时,一致性(Consistent)、可用性(Availability)、Partition Tolerance(分区容忍性)三个属性不可能同时满足,该定理也叫做布鲁尔定理。CAP定理明确了分布式系统所能实现系统的局限性,目前互联网中的很多分布式系统是基于首要满足可用性和分区容忍性而设计的。在这里,不打算提及目前火热的Cassandra、Voldemort等分布式存储系统转载 2012-02-22 11:49:31 · 2193 阅读 · 0 评论 -
BASE,CAP,ACID
云计算平台是非常巨大的分布式系统,需要处理庞大的处理请求,因此任何小概率事件在此平台中都必然发生。 DBMS强调ACID:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性 (Durability)。其中的一致性强调当程序员定义的事务完成时,数据库处于一致的状态,如对于转帐来说,事务完成时必须是A少了多少钱B就多了多 少钱。而对于很多互转载 2012-02-28 10:39:26 · 658 阅读 · 0 评论 -
分布式文件系统测试方法与测试工具
非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX, SONAS, Filestore, NetApp GX, Panasas, StorNext,转载 2012-02-27 16:26:10 · 1477 阅读 · 0 评论 -
NoSQL数据库技术特性解析之文档数据库
现今云计算的从业人员对NoSQL一词并不感到陌生,虽然很多技术人员都长期从事关系数据库的工作,但现在他们对NoSQL技术充满期待。对于企业来说,从关系型数据库到NoSQL数据库转变绝对是个需要深思熟虑的大改变。这涉及的不仅是软件的变化,更多的是对于数据存储上观念性的变化。CouchDB专家兼作者Bradley Holt认为NoSQL并不是反SQL的运动,为对应的工作选择最恰当的工具才是正确转载 2012-02-28 00:10:37 · 498 阅读 · 0 评论 -
最终一致性——翻译 “Werner Vogels 谈最终一致性”
直到90年代中期,当谈到数据复制的时候,分布的透明性和数据的一致性常常都是重要的工作目标。随着大型Internet系统开始崛起,可用性(availability)也成了另一项重要的考虑因素。 Eric Brewer提出的CAP定理说,“在数据共享的系统的三项属性当中,数据一致性、系统可用性和对网络分区的耐受性,在任何给定时间内都只能达成其中的两项”。由于“在较大分布规模的系统中,网络分区是给定的”转载 2012-02-22 10:45:05 · 1098 阅读 · 0 评论 -
云计算背后的秘密(1)-MapReduce
在Google数据中心会有大规模数据需要处理,比如被网络爬虫(Web Crawler)抓取的大量网页等。由于这些数据很多都是PB级别,导致处理工作不得不尽可能的并行化,而Google为了解决这个问题,引入了MapReduce这个分布式处理框架。AD:【引言】之前我写过一些关于云计算误区的文章,虽然这些文章并不是非常技术,但是也非常希望它们能帮助大家理解云计算转载 2012-02-22 09:58:28 · 506 阅读 · 0 评论 -
对等网络中主流分布式哈希算法比较分析[收集]
作者不详,如果作者看到可联系站长添加版权声明。本文首先从P2P的定义出发,介绍了结构化P2P与非结构化P2P的区别以及结构化P2P的核心技术DHT。而后,本文深入介绍了几种主流的DHT算法与协议并对每种协议进行了讨论。文章的最后展望了DHT在未来的发展趋势。对 等网络(Peer-to-Peer,简称P2P)是目前非常热门的应用,自1999年以来,P2P的研究一直是国外知名学府(如美转载 2012-02-13 14:57:08 · 1258 阅读 · 0 评论 -
CAP原理与最终一致性
CAP原理(CAP Theorem)先来看历史,Eric A. Brewer教授,Inktomi公司的创始人,也是berkeley大学的计算机教授,Inktomi是雅虎搜索现在的台端技术核心支持。最主要的是, 他们 (Inktomi公司)在最早的时间里,开始研究分布计算。CAP原则的提出,可以追溯到2000年的时候(可以想象有多么早!),Brewer教授在一 次谈话中,基于他运作I转载 2012-02-22 09:47:44 · 689 阅读 · 0 评论 -
暴雪公司的哈希算法
暴雪公司有个经典的字符串的hash公式 先提一个简单的问题,假如有一个庞大的字符串数组,然后给你一个单独的字符串,让你从这个数组中查找是否有这个字符串并找到它,你会怎么做? 有一个方法最简单,老老实实从头查到尾,一个一个比较,直到找到为止,我想只要学过程序设计的人都能把这样一个程序作出来,但要是有程序员把这样的程序交给用户,我只能用无语来评价,或许它真的能工作,但也只能如此了。转载 2012-02-06 10:38:54 · 825 阅读 · 0 评论 -
分布式系统漫谈一 —— Google三驾马车: GFS,mapreduce,Bigtable
谈到分布式系统,就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文。而且,Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Hadoop对应Mapreduce, Hadoop Distributed File System (HDFS)对转载 2012-02-06 11:27:21 · 882 阅读 · 0 评论 -
解读NoSQL技术代表之作Dynamo
NoSQL在过去的一年里,逐渐已经成为了家喻户晓的东西,我(54chen)自从去年开始人人网的NoSQL系统Nuclear的研发以来,一直看NoSQL越来越热,越来越引来大家的围观。受InfoQ中文站编辑之托,特作此文,一来作为过去一年的总结,二来希望对NoSQL系统在国内的发展和推广尽绵薄之力。相关厂商内容QCon北京2012:语言代码之美QCon北京2012:深入浅转载 2012-02-06 10:41:15 · 728 阅读 · 0 评论 -
一致性哈希算法及其在分布式系统中的应用
摘要本文将会从实际应用场景出发,介绍一致性哈希算法(Consistent Hashing)及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景,借此介绍一致性哈希算法以及这个算法如何解决此问题;接下来会对这个算法进行相对详细的描述,并讨论一些如虚拟节点等与此算法应用相关的话题。分布式缓存问题假设我们有一个网站,最近发现随着流量增加,服务器压力越来转载 2012-02-08 09:32:05 · 587 阅读 · 0 评论 -
一致性哈希(用于分布式缓存原理)
consistent hash算法背后最基础的思想就是:对object和cache machine使用相同的hash函数。这样做的好处是能够把cache机器映射到一段interval上,而这段interval就会包含一定数目的对象的hash值。如果某台cache机器被移除了,那么它映射到的interval被和它相邻的一个cache机器托管,其他所有的cache机器都不用变。consiste转载 2012-02-08 09:35:41 · 859 阅读 · 0 评论 -
架构设计之分布式缓存
1:前言 我们在开发系统的过程中,缓存是个有用的模块。下面我就把我们的缓存模块给大家做个简单介绍。 2:类图 图片看不清楚?请点击这里查看原图(大图)。 3:简单介绍 缓存分为两个部分。一个是缓存结构一个是存储结构。缓存结构主要解决对象什么时候过期而存储结构主要解决对象存储到什么地方。 3.1缓存结构 我们在处理缓存过转载 2012-02-08 09:47:22 · 516 阅读 · 0 评论 -
write back vs write through
write back vs write through在学习peter的关于innodb高级优化时,innodb_flush_method参数提到write back, 以前搞存储时遇到过,当时有点一知半解,这次仔细查了一下资料.强化一下.To suffer or not to suffer? That is the questions.RAID FeaturesWrite T转载 2012-02-08 09:58:15 · 1035 阅读 · 0 评论 -
一致性 hash 算法( consistent hashing )
一致性 hash 算法( consistent hashing )张亮consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 cache 系统中应用越来越广泛;1 基本场景比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object 映射到 N转载 2012-02-07 10:42:22 · 440 阅读 · 0 评论 -
[openstack swift]2基本概念
******************转载请注明出处!**********http://blog.csdn.net/zzcase/article/details/6623424最后更新:2011年7月21日16:28:332基本概念2.1ring2.1.1ring是什么ring代表存储在硬盘上的实体(entity)名称和实际物理位置的映射。acco转载 2012-03-05 22:10:40 · 1051 阅读 · 0 评论