分布式
文章平均质量分 81
Java2King
淘宝。。。。数据平台
展开
-
CONSISTENT HASHING算法实现
在做服务器负载均衡时候可供选择的负载均衡的算法有很多,包括: 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法. 典型的应用场景是: 有N台服务器提供缓存服务,需要对服务器进行负载均衡,将请求平均分发到每台服务器上,每台机器负责1/N的服务。 常用的算法是对hash结果取余数 (hash() mod N):对机器编号从0到N-1转载 2010-08-13 16:15:00 · 1103 阅读 · 0 评论 -
大流量、高并发的网站的底层系统架构
动态应用,是相对于网站静态内容而言, 是指以c/c++、php、Java、perl、.net等 服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。大型动态应用系统平台主要是针对于大流 量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。大型动态应用系统又可分为几个子系统:l Web前 端系统l 负 载均转载 2010-10-12 11:07:00 · 1473 阅读 · 0 评论 -
技术领域—海量存储计算
PB时代的来临Petabyte,2的50次方个字节。这个对很多人还是很陌生的计量单位,已经变得越来越普遍和触手可及。2004年8月,GOOGLE日常任务输入的数据已经达到了3PB ;2005年Mark Hurd从Teradata来到HP出任CEO,开始建设基于Neo View的8PB的HP EDW。2006年,YAHOO构建了世界上第一个基于ORACLE RAC的PB级别数据中心。2007年9月,GOOGLE的日常任务的输入数量膨胀到403个PB,而输出文件的尺寸也达到了14PB。2008年6月,wired转载 2010-10-14 09:49:00 · 1494 阅读 · 0 评论 -
Paxos算法
<br /><br />Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法。[1] 这个算法被认为是类似算法中最有效的。<br />Paxos 算法解决的问题是一个分布式系统如何就某个值(决议)达成一致。一个典型的场景是,在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点都执行相同的操作序列,那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命令序列,需要在每一条指令上执行一个「转载 2010-11-11 10:11:00 · 2741 阅读 · 0 评论 -
微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨
<br /><br />微博feed系统的推(push)模式和拉(pull)模式和时间分区拉模式架构探讨<br /> [文章作者:孙立 链接:http://www.cnblogs.com/sunli/ 更新时间:2010-08-24]<br /> sns系统,微博系统都应用到了feed(每条微博或者sns里的新鲜事等我们称作feed)系统,不管是twitter.com或者国内的新浪微博,人人网等,在各种技术社区,技术大会上都在分享自己的feed架构,也就是推拉模式(timyang上次也分享了转载 2010-11-15 15:20:00 · 6879 阅读 · 2 评论