2012年02月_icycolawater

转载 BASE,CAP,ACID

云计算平台是非常巨大的分布式系统，需要处理庞大的处理请求，因此任何小概率事件在此平台中都必然发生。 DBMS强调ACID：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性 (Durability)。其中的一致性强调当程序员定义的事务完成时，数据库处于一致的状态，如对于转帐来说，事务完成时必须是A少了多少钱B就多了多少钱。而对于很多互

2012-02-28 10:39:26 659

转载 NoSQL数据库技术特性解析之文档数据库

现今云计算的从业人员对NoSQL一词并不感到陌生，虽然很多技术人员都长期从事关系数据库的工作，但现在他们对NoSQL技术充满期待。对于企业来说，从关系型数据库到NoSQL数据库转变绝对是个需要深思熟虑的大改变。这涉及的不仅是软件的变化，更多的是对于数据存储上观念性的变化。CouchDB专家兼作者Bradley Holt认为NoSQL并不是反SQL的运动，为对应的工作选择最恰当的工具才是正确

2012-02-28 00:10:37 499

转载分布式文件系统测试方法与测试工具

非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点，分布式文件系统作为核心基础被推到了浪潮之巅，广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点，架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX, SONAS, Filestore, NetApp GX, Panasas, StorNext,

2012-02-27 16:26:10 1477

转载 HE IS JUST NOT THAT INTO YOU.

梁朝伟说过：男人如果爱你，那你就一定会感觉的喜欢这篇日志，看了让人觉得清醒，也喜欢文字间隙《夏雨、袁泉》唯美的图片。一部美国的电影，叫《He's Just Not That Into You》，其实他没那么喜欢你。 “所有未婚女青年都该去看一下这部电影。” 电影的开头，很有趣。从非洲

2012-02-24 11:38:50 1143

转载 Build Cloud Storage: Installing an OpenStack Swift cluster on EC2

Build Cloud Storage: Installing an OpenStack Swift cluster on EC2http://www.buildcloudstorage.com/2011/10/installing-openstack-swift-cluster-on.htmlDISCLAIMER: The views expressed here are my own and

2012-02-24 09:24:25 4534

转载 Build Cloud Storage: S3 APIs on OpenStack Swift

Build Cloud Storage: S3 APIs on OpenStack Swifthttp://www.buildcloudstorage.com/2011/11/s3-apis-on-openstack-swift.htmlDISCLAIMER: The views expressed here are my own and don't necessarily repre

2012-02-24 09:18:01 1481

CAP定理指在设计分布式系统时，一致性（Consistent）、可用性（Availability）、Partition Tolerance（分区容忍性）三个属性不可能同时满足，该定理也叫做布鲁尔定理。CAP定理明确了分布式系统所能实现系统的局限性，目前互联网中的很多分布式系统是基于首要满足可用性和分区容忍性而设计的。在这里，不打算提及目前火热的Cassandra、Voldemort等分布式存储系统

2012-02-22 11:49:31 2194

转载正确理解cap 理论

CAP 理论在搞分布式的程序员中已经是路人皆知了。但是 CAP 理论就好比是相对论，虽然所有的人都知道，但是却没有多少人真正理解。要真正理解 CAP 理论必须要读懂它的形式化描述。形式化描述中最重要的莫过于对 Consistency, Availability, Partition-tolerance 的准确定义。 Consistency (一致性) 实际上等同于系统领域的 b

2012-02-22 11:13:45 1127

转载最终一致性——翻译 “Werner Vogels 谈最终一致性”

直到90年代中期，当谈到数据复制的时候，分布的透明性和数据的一致性常常都是重要的工作目标。随着大型Internet系统开始崛起，可用性（availability）也成了另一项重要的考虑因素。 Eric Brewer提出的CAP定理说，“在数据共享的系统的三项属性当中，数据一致性、系统可用性和对网络分区的耐受性，在任何给定时间内都只能达成其中的两项”。由于“在较大分布规模的系统中，网络分区是给定的”

2012-02-22 10:45:05 1107

转载云计算背后的秘密（1）-MapReduce

在Google数据中心会有大规模数据需要处理，比如被网络爬虫（Web Crawler）抓取的大量网页等。由于这些数据很多都是PB级别，导致处理工作不得不尽可能的并行化，而Google为了解决这个问题，引入了MapReduce这个分布式处理框架。AD：【引言】之前我写过一些关于云计算误区的文章，虽然这些文章并不是非常技术，但是也非常希望它们能帮助大家理解云计算

2012-02-22 09:58:28 506

转载 CAP原理与最终一致性

CAP原理(CAP Theorem)先来看历史，Eric A. Brewer教授，Inktomi公司的创始人，也是berkeley大学的计算机教授，Inktomi是雅虎搜索现在的台端技术核心支持。最主要的是，他们（Inktomi公司）在最早的时间里，开始研究分布计算。CAP原则的提出，可以追溯到2000年的时候（可以想象有多么早！），Brewer教授在一次谈话中，基于他运作I

2012-02-22 09:47:44 689

转载分布式哈希表和一致性哈希

原文地址：http://hi.baidu.com/hins_pan/blog/item/8a3c90c50c6990d838db497d.html分布式哈希(DHT)两个key point：每个节点只维护一部分路由；每个节点只存储一部分数据。从而实现整个网络中的寻址和存储。DHT只是一个概念，提出了这样一种网络模型。并且说明它是对分布式存储很有好处的。但具体怎么实现，并不是

2012-02-13 15:14:53 3003

转载对等网络中主流分布式哈希算法比较分析[收集]

2012-02-13 14:57:08 1262

转载 write back vs write through

write back vs write through在学习peter的关于innodb高级优化时,innodb_flush_method参数提到write back, 以前搞存储时遇到过,当时有点一知半解,这次仔细查了一下资料.强化一下.To suffer or not to suffer? That is the questions.RAID FeaturesWrite T

2012-02-08 09:58:15 1035

转载架构设计之分布式缓存

1：前言　　我们在开发系统的过程中，缓存是个有用的模块。下面我就把我们的缓存模块给大家做个简单介绍。　　2：类图　　图片看不清楚？请点击这里查看原图（大图）。　　　3：简单介绍　　缓存分为两个部分。一个是缓存结构一个是存储结构。缓存结构主要解决对象什么时候过期而存储结构主要解决对象存储到什么地方。　　3.1缓存结构　　我们在处理缓存过

2012-02-08 09:47:22 516

转载一致性哈希(用于分布式缓存原理)

consistent hash算法背后最基础的思想就是：对object和cache machine使用相同的hash函数。这样做的好处是能够把cache机器映射到一段interval上，而这段interval就会包含一定数目的对象的hash值。如果某台cache机器被移除了，那么它映射到的interval被和它相邻的一个cache机器托管，其他所有的cache机器都不用变。consiste

2012-02-08 09:35:41 859

转载一致性哈希算法及其在分布式系统中的应用

摘要本文将会从实际应用场景出发，介绍一致性哈希算法（Consistent Hashing）及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景，借此介绍一致性哈希算法以及这个算法如何解决此问题；接下来会对这个算法进行相对详细的描述，并讨论一些如虚拟节点等与此算法应用相关的话题。分布式缓存问题假设我们有一个网站，最近发现随着流量增加，服务器压力越来

2012-02-08 09:32:05 588

转载函数式编程扫盲篇

函数式编程扫盲篇1. 概论在过去的近十年的时间里，面向对象编程大行其道。以至于在大学的教育里，老师也只会教给我们两种编程模型，面向过程和面向对象。孰不知，在面向对象产生之前，在面向对象思想产生之前，函数式编程已经有了数十年的历史。那么，接下来，就让我们回顾这个古老又现代的编程模型，让我们看看究竟是什么魔力将这个概念，将这个古老的概念，在21世纪的

2012-02-07 16:26:31 418

转载一致性 hash 算法（ consistent hashing ）

一致性 hash 算法（ consistent hashing ）张亮consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在 cache 系统中应用越来越广泛；1 基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N

2012-02-07 10:42:22 441

转载分布式系统漫谈一 ——　Google三驾马车: GFS,mapreduce,Bigtable

谈到分布式系统，就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文。而且，Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Hadoop对应Mapreduce, Hadoop Distributed File System (HDFS)对

2012-02-06 11:27:21 890

转载解读NoSQL技术代表之作Dynamo

NoSQL在过去的一年里，逐渐已经成为了家喻户晓的东西，我（54chen）自从去年开始人人网的NoSQL系统Nuclear的研发以来，一直看NoSQL越来越热，越来越引来大家的围观。受InfoQ中文站编辑之托，特作此文，一来作为过去一年的总结，二来希望对NoSQL系统在国内的发展和推广尽绵薄之力。相关厂商内容QCon北京2012：语言代码之美QCon北京2012：深入浅

2012-02-06 10:41:15 733

转载暴雪公司的哈希算法

暴雪公司有个经典的字符串的hash公式先提一个简单的问题，假如有一个庞大的字符串数组，然后给你一个单独的字符串，让你从这个数组中查找是否有这个字符串并找到它，你会怎么做？有一个方法最简单，老老实实从头查到尾，一个一个比较，直到找到为止，我想只要学过程序设计的人都能把这样一个程序作出来，但要是有程序员把这样的程序交给用户，我只能用无语来评价，或许它真的能工作，但也只能如此了。

2012-02-06 10:38:54 826

icycolawater的专栏