eBay 的数据库分布扩展架构

转载 2007年10月12日 09:44:00

在过去的 Blog 中, 我(插一嘴:这里的"我" 如果替换成 "Fenng" 似乎有些自恋, 也不是我喜欢的行文语气, 可发现转贴不留名的行为太多了,他大爷的)曾经介绍过 《eBay 的应用服务器规模》 , 也介绍过 《eBay 的数据量》,在这篇文章中提到过 "eBay 购买了 Quest Share Plex 全球 Licence 用于数据复制",这个地方其实没有说开来。

对于 eBay 这样超大规模的站点来说,瓶颈往往最容易在数据库服务器上产生,必定有一部分数据(比如交易记录这样不容易水平分割的数据)容易带来大量的读操作,而不管用什么存储,能承担的 IO 能力是有限的。所以,如果有效的分散 IO 的承载能力就是一个很有意义的事情。

经过互联网考古学不断挖掘,路路续续又现了一些蛛丝马迹能够多少说明一些问题。客观事实加上主观想象,简单的描述一下。见下图:

ebay_shareplex_F5.jpg

通过 Quest 公司的 Share Plex 近乎实时的复制数据到其他数据库节点,F5 通过特定的模块检查数据库状态,并进行负载均衡,IO 成功的做到了分布,读写分离,而且极大的提高了可用性。F5 真是一家很有创新性的公司,虽然从这个案例来说,技术并无高深之处,但方法巧妙,整个方案浑然一体。

F5公司专门为Oracle 9i 数据库开发了专用的健康检查模块,通过调用F5专有的扩展应用校验(EAV)进程,F5能够随时得到Oracle 9i数据库的应用层服务能力而不是其他的负载均衡设备所采用的 ICMP/TCP 层进行健康检查。

这个图来自一篇《F5助力eBay数据库服务器负载均衡》的软文,真是一篇很好的软文,国外恐怕不会出现这样"含金量"极高的东西。

当然,这个技术架构可不算便宜。Quest 的 Share Plex License 很贵,而且,对于每个结点来说,都需要数据库 License 与硬件费用。但优点也很多:节省了维护成本; 数据库层面的访问也能做到 SOA; 高可用性。

国内的一些厂商比较喜欢给客户推存储级别的解决方案。通过存储底层复制来解决数据分布以及灾备问题。这个思路似乎太传统了,对于互联网企业来说多少有点过时。

 

大型电子商务网站架构之--分布式可扩展数据库架构

近几年分布式成为热门的话题,也成为大型系统必备良药,而在数据库方面应用更加广泛。通过采用普通廉价的设备构建出高可用性和高扩展的集群目的。从而摆脱了大型设备的依赖,一个好的分布式数据库架构可以比较方便达...
  • mic_hero
  • mic_hero
  • 2016年01月28日 11:31
  • 1121

可扩展Web架构与分布式系统(转)

1.1. web分布式系统的设计原则 搭建和运营一个可伸缩的web站点或者应用程序意味着什么?在原始层面上这仅仅是用户通过互联网连接到远程资源-使系统变得可伸缩的部分是将资源、或者访问的资源,分布于...
  • Michaelwubo
  • Michaelwubo
  • 2016年03月13日 20:24
  • 2706

​Postgres-XL:基于PostgreSQL的开源可扩展数据库集群

​Postgres-XL:基于PostgreSQL的开源可扩展数据库集群                   最近这一年业界去“IOE”越叫越响,很多传统企业也把去“IOE...
  • jj_tyro
  • jj_tyro
  • 2015年04月23日 11:10
  • 3834

Ebay架构特点(HPTS 2009)

在HPTS 2009上,ebay 架构师Randy Shoup又列出了五个lessions.它们分别是: 1 Expect (R)evolution 2 Dependencies Matt...
  • kingofbirdzjy
  • kingofbirdzjy
  • 2011年06月02日 17:28
  • 1401

ebay SOA 架构

  • 2015年12月29日 11:01
  • 488KB
  • 下载

ebay,youku,facebook等架构文档

  • 2009年12月25日 13:23
  • 7.9MB
  • 下载

从Google与eBay的系统架构学到的经验

本文是根据 Randy Shoup(以前在Google/eBay工作过)做的报告做的笔记。里面的一些小故事小八卦挺不错的。       小故事:App Engine(GAE)除了给外部用户用,也...
  • just_be_happy
  • just_be_happy
  • 2016年05月11日 15:19
  • 387

ebay的架构特点

去年的时候,就了解了 ebay 的架构了,只是很多事情没有亲身经历,很难深有体会。离去年的 Qcon 大会快一年了,今年的也快召开了,时光流逝,真是人事变迁,我回深圳也快一年了。今天有空也来班门弄斧一...
  • screensky
  • screensky
  • 2012年07月12日 13:39
  • 1418

eBay数据库遭黑客攻击 要求1.45亿用户修改登录密码

原标题:eBay遭黑客攻击 要求1.45亿用户修改密码 5月22日,据美联社报道,由于存储有客户姓名、密码、电子邮件地址、住址、电话号码和生日等信息的数据库遭到黑客攻击,...
  • u014741335
  • u014741335
  • 2014年05月22日 14:42
  • 515

eBay数据库遭黑客攻击 要求1.45亿用户修改登录密码

5月22日,据美联社报道,由于存储有客户姓名、密码、电子邮件地址、住址、电话号码和生日等信息的数据库遭到黑客攻击,eBay要求用户修改登录密码。    eBay当地时间周三表示,没有证据表明用户...
  • u014636901
  • u014636901
  • 2014年05月22日 13:33
  • 334
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:eBay 的数据库分布扩展架构
举报原因:
原因补充:

(最多只允许输入30个字)