规模是个大问题

一旦系统达到了一定的规模,很多看起来本该不是问题的问题也会一个一个接连跳出来。 而更麻烦的是这些问题在刚开始可能根本就没有被考虑过。 特别是分布式集群系统。 前面提到过系统透明度的问题,这是其中一个,另一个密切相关的就是系统日志的存储与查询问题。 小规模集群的情况下,使用一个单主机可能就够...

2012-02-15 10:26:23

阅读数 2596

评论数 2

设计系统一定要透明

透明性对于系统的重要性会超过大多数人的想象!特别对于大规模分布式系统,缺乏了透明性,基本上就是一个不可维护的系统。透明性就是,随时能够知晓系统的运行状态,运行历史,关键参数指示当前运行是否正常;用户的详细操作历史、创建了什么文件,删除,又恢复...,发起过什么请求,都是应该可查的

2011-07-08 16:28:33

阅读数 2458

评论数 1

一句话架构

这段时间的工作感想,关于系统架构,最重要和核心的东西就是数据流的路径。数据流路径清晰可循的架构就是良好的架构,否则就是混乱的架构。再则就是分层的原则,分层原则可以说是“单一清晰”的延伸。分层清晰,则职责清晰。职责清晰,才能够各部分运转有序,各司其责。 剩下的,比如模式的应用,数据库的选择,存储的选...

2011-06-21 13:18:00

阅读数 3342

评论数 7

设计模式之策略模式

设计模式之策略模式<br /> 策略模式的定义<br />先来看看什么是策略模式:<br /> 定义和封装一个算法家族,并使这个家族种的各个算法可以相互替换,以使得算法可以独立于使用它的客户端而演变。UML如下所示。<br /> 这里的算...

2010-06-06 20:39:00

阅读数 2349

评论数 0

豆瓣网CTO洪强宁讲述网站架构变迁

豆瓣网CTO洪强宁讲述网站架构变迁主要内容是,随着访问量的增加,豆瓣遇到的问题和其解决之道,不错。图片太多了,直接给出链接:http://www.cnblogs.com/Mainz/archive/2009/06/28/CTO_Douban_Xiaonei_Renren_Website.html ...

2010-04-21 12:23:00

阅读数 2709

评论数 0

豆瓣的架构~

转载几篇关于豆瓣等SNS网站和Social Game的架构设计文章;第一篇:豆瓣的架构其中提到了不少开发Web2.0网站的经验,值得分享;豆瓣的架构~2009-03-24 21:13:27关键字包括:nginx,lighttpd,quixote,Memcached,mogile FS,Mako,G...

2010-04-21 11:28:00

阅读数 2790

评论数 0

Eventually Consistent(最终一致性)

应该说搞分布式系统必读的文章了,转过来,这是2008年12月Werner revise过的版本,先贴上内容简介:分布式系统的CAP理论CAP理论(data consistency, system availability, and tolerance),也就是数据一致性,系统可用性和网络分区容错性...

2010-03-31 18:07:00

阅读数 8051

评论数 3

人人网UGC海量存储系统Nuclear介绍

转kuqin网上一篇介绍人人网实现海量存储的文章,人人网构建了自己的存储系统Nuclear,先简单列列感想。 又一个使用java构建的分布式的key-value存储系统,在设计思想上严重受到GFS的影响。在存在中心管理节点的情况下,怀疑其提到的“无限扩展性”,夸张了;不过通过一致性hash算法来确...

2010-03-10 14:36:00

阅读数 3418

评论数 2

Hadoop分布式文件系统:架构和设计要点

转一篇关于Hadoop系统架构设计的文章,作者翻译的不错,其英文原文是理解Hadoop的经典文章。原文出处:http://www.blogjava.net/killme2008/archive/2008/06/05/206043.htmlHadoop分布式文件系统:架构和设计要点 原文:http:...

2010-02-02 09:31:00

阅读数 5592

评论数 0

Map Reduce – the Free Lunch is not over?

现在已经进入了一个张口就是“今天你云了没?”的时代,应该好好研究研究大规模数据存储和处理了,像google的map reduce技术,开源的hadoop;map reduce的思想来自于函数式编程语言,看来要想进步提高,还得眼界开阔啊!转载一篇孟岩关于map reduce的文章。Map Reduc...

2010-01-30 13:04:00

阅读数 3349

评论数 1

CRC32算法-从bit到table-driven

   本文的目的就是为了展示CRC是如何从最原始的算法开始,逐步演变成基于校验表的CRC算法的全过程,你将会看到从基于bit的基本CRC算法如何逐步推演==〉扩张到使用CRC校验表的逐Byte计算==〉扩张到如何去掉追加的r个0==〉考虑实际中的位反转;直到最终的CRC32算法;   鉴于CSDN...

2010-01-24 22:52:00

阅读数 3578

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭