学习 Flickr 的 基于 LAMP 的容量规划经验

转载 2007年09月30日 00:49:00
原贴:http://www.dbanotes.net/web/flickr_lamp_capacity_planning.html

学习 Flickr 的 基于 LAMP 的容量规划经验

好久没怎么正式更新 Blog 了,快荒芜了,长满了 Spam 的荒草。

最近其实发现了不少可以和大家一起学习的好内容。FlickrJohn AllspawMySQL Conf 2007 作了一个题为 Capacity planning for LAMP (下载PDF文件) 的技术报告,说起容量规划,多少有点空对空的意思,不过这个 PPT 还是介绍了不少 Flickr 的网站运维经验。

Flickr 的数据量的确越来越惊人了,根据文档中透漏的数据:

Squid Cache 中共有 3500 万张图片;
在 Squid RAM 中有 200 万张图片;
4.7亿的图片,每张图片有4到5种尺寸;
每秒钟 38000 个到 memcached 的请求;
2 PB 裸存储容量(周日需要消耗1.5T 的空间)

三个主要步骤:

计划

基于实际业务,而不是抽象的理论。John Allspaw 认为基准测试(Benchmark) 作用并不大,这一点我也很赞同。在业务频繁变化的环境中,Benchmark 根本不能与实际业务情况匹配。

部署

Flickr 使用SystemImager/SystemConfigurator(自动化安装、软件分发),CVSup(网络中的文件分发、更新),Subcon(配置管理工具)提高部署效率。

度量(图形化展现)

Flickr 使用了 Ganglia 来进行容量数据的展现。Ganglia 最初设计是用于高性能集群计算的监控上面,也是以 RRDTool 为基础来进行图形展示。Ganglia 最主要的优点还是管理的方便性: Client/Server 结构, 各自跑 Demon 进行数据交互(XML形式)。相比起来, Cacti + Collectd 需要进行很多手工配置,在面对大量需要监控的主机的时候的确不那么方便。

Web 2.0 站点的运维似乎大家都在摸索着走。期望这次阿里巴巴组织的侠客行大会上也有有朋友坐下来聊聊这个话题(Flickr 的架构师本来可以来的,因为时间的问题不能成行,挺遗憾的)。

--EOF--

| | Comments (10) | | Edit

Monetize Your Site
<script type="text/javascript"><!-- google_ad_client = "pub-2198040673582211"; google_ad_output = "textlink"; google_ad_format = "ref_text"; google_cpa_choice = "CAAQhaT2_gEaCI52gVKP95-sKLGsuIEBMAA"; //--> </script> <script src="http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript"> </script> <script src="http://pagead2.googlesyndication.com/cpa/ads?client=ca-pub-2198040673582211&amp;cpa_choice=CAAQhaT2_gEaCI52gVKP95-sKLGsuIEBMAA&amp;oe=UTF-8&amp;dt=1191083713552&amp;lmt=1190476149&amp;format=ref_text&amp;output=textlink&amp;correlator=1191083713551&amp;url=http%3A%2F%2Fwww.dbanotes.net%2Fweb%2Fflickr_lamp_capacity_planning.html&amp;region=_google_cpa_region_&amp;ref=http%3A%2F%2Fwww.dbanotes.net%2Farchives.html&amp;cc=100&amp;ga_vid=1801604278.1191083714&amp;ga_sid=1191083714&amp;ga_hid=809369315&amp;flash=9&amp;u_h=800&amp;u_w=1280&amp;u_ah=776&amp;u_aw=1280&amp;u_cd=24&amp;u_tz=480&amp;u_his=1&amp;u_nplug=2&amp;u_nmime=3" language="JavaScript1.1" type="text/javascript"></script> Get Firefox with Google Toolbar for better browsing
<script type="text/javascript"><!-- google_ad_client = "pub-2198040673582211"; google_ad_output = "textlink"; google_ad_format = "ref_text"; google_cpa_choice = "CAAQidTQgAIaCEapPfRcsfp6KN2uuIEBMAA"; //--> </script> <script src="http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript"> </script> <script src="http://pagead2.googlesyndication.com/cpa/ads?client=ca-pub-2198040673582211&amp;cpa_choice=CAAQidTQgAIaCEapPfRcsfp6KN2uuIEBMAA&amp;oe=UTF-8&amp;dt=1191083713763&amp;lmt=1190476149&amp;prev_fmts=ref_text&amp;format=ref_text&amp;output=textlink&amp;correlator=1191083713551&amp;url=http%3A%2F%2Fwww.dbanotes.net%2Fweb%2Fflickr_lamp_capacity_planning.html&amp;region=_google_cpa_region_&amp;ref=http%3A%2F%2Fwww.dbanotes.net%2Farchives.html&amp;cc=100&amp;ga_vid=1801604278.1191083714&amp;ga_sid=1191083714&amp;ga_hid=809369315&amp;flash=9&amp;u_h=800&amp;u_w=1280&amp;u_ah=776&amp;u_aw=1280&amp;u_cd=24&amp;u_tz=480&amp;u_his=1&amp;u_nplug=2&amp;u_nmime=3" language="JavaScript1.1" type="text/javascript"></script> Generate revenue from your website. Google AdSense.

本文相关评论|Comments(10)

xLight 的评论:

web2.0的数据量用什么技术消化一直都是热门问题,
也希望能看到更多这方面的文章介绍

jieer 的评论:

好东西,flickr就是nb

SeEr 的评论:

基准测试在很多时候还是很有用的,不管是大架构还是一些小站点里, 流量的突然爆发需在前期能基准测试而做到心里有数,在大站中一些非生产设备的基准测试也是为生产环境做应对措施

yumianfeilong 的评论:

Capacity planning 也需要专门的Team来做,在国内很多SA,DBA都兼任这个。

SeEr 的评论:

基准测试在很多时候还是很有用的,不管是大架构还是一些小站点里, 流量的突然爆发需在前期能基准测试而做到心里有数,在大站中一些非生产设备的基准测试也是为生产环境做应对措施

leavic 的评论:

第一次看到PB这个容量单位,-_-||

jackie 的评论:

图片很耗空间的,flickr好强!

summer 的评论:

俺也很久没有更新了:)

非狐外传 的评论:

不错,学习。

aworld 的评论:

国内有个巴巴变网络相册的
做的还挺好的
http://www.bababian.com
就是在人数上和flickr有些差距
不过现在越来越多的摄影爱好者在加入
而且上传的照片质量越来越高
可以说在国内摄影的专业领域
已经很高了
如果对于交流和学习的话都很不错的地方
而且速度很快,没有专集组或者200张的图片限制

 

相关文章推荐

LAMP的容量规划之道 -- flickr的运维分享

1. 容量可升级提到扩容,我们第一印象是增加硬件。单纯硬件的平行扩容和根据业务切分的垂直扩容是最常用的方式。良好的扩容性依赖于架构是否灵活 ,各层业务是否做到可配置,这些都需要在系统设计阶段进行规划,...

面试经验+学习建议+未来规划

今天有幸和恺叔叔、天宇大大和波波学长一起,到马群的外婆私房菜吃了顿很饱很好吃的饭。期间就不停地听他们讲各种事情,大概都关于面试。         天宇学长先去占的座,我和恺叔叔一起从学校去的,波波坐火...

Web容量规划的艺术.part3

  • 2011-08-24 10:15
  • 4.72MB
  • 下载

【PMP考试经验总结】项目管理规划学习

我是清晖杭州1312班的学员杜世新。PMP强调组织过程资产,与事业环境因素。这里我们就把我备课的经验与心得,总结一下,希望我这点感悟能给大家学习PMP带来一点帮助! 学佛的人强调「莫忘初心」,就是要...

vmware view 容量规划工具

  • 2015-12-01 10:28
  • 394KB
  • 下载

web容量规划的艺术

  • 2014-09-12 16:41
  • 13.60MB
  • 下载

容量规划和Region配置

欢迎转载,请注明:http://blog.csdn.net/oozie123 当我们规划HBase集群容量和执行初始配置时,有很多注意事项。合理配置我们得对HBase内部数据的处理有深入的理解。 1...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)