Stack Overflow架构揭秘（软硬件、人员、数字）(1)

http://os.51cto.com  2011-03-09 09:33  布加迪 编译  51CTO.com  我要评论(0)

• 摘要：从2009年到今天，Stack Overflow的架构已发生了很大的变化。Stack Overflow是全球IT界最受欢迎的技术问答网站之一，目前，其每月不重复的访问用户超过1600万；每月网页浏览量（PV）增长了近6倍，达到9500万。Stack Overflow的架构是相当公开的，本文对相关资料进行了总结分享。
• 标签：Stack Overflow  架构

 

【51CTO精选译文】编者按：开发人员和社区类产品/运营工作者应该对Stack Overflow十分熟悉：这是IT界最受欢迎的问答网站之一。随着Stack Overflow越来越火，该网站在最近几年也对自身的架构进行了大量的扩展优化。本文作者对Stack Overflow这几年的架构变迁进行了揭秘。

自从本人在2009年写了关于Stack Overflow 架构的第一篇文章后，该架构已发生了很大的变化。那篇文章主要介绍了Stack Overflow采取的向上扩展（scale-up）策略，而Stack Overflow在最近几年得到了全面发展。

Stack Overflow取得了长足发展：规模扩大了一倍多，每月不重复的访问用户超过1600万；每月网页浏览量（PV）增长了近6倍，达到9500万。

Stack Overflow发展壮大成了 Stack Exchange Network，而这个网络包括Stack Overflow、Server Fault和Super User等，旗下总共拥有43个网站，而且发展势头良好。

但不变的是Stack Overflow在其所作所为方面坚持的开放理念，而这才有了今天这篇文章。最近的一连串帖子主要介绍了Stack Overflow在如何应对增长：《Stack Exchange的架构要点介绍》、《Stack Overflow的纽约数据中心》、《为确保管理和容错的高扩展性而设计》、《Stack Overflow搜索——现在时间缩短了81%》、《Stack Overflow网络配置》、《Stack Overflow使用缓存吗？如果使用，怎么使用？》和《哪些工具和技术构建了Stack Exchange Network？》等。（51CTO编辑注：以上文章均为英文。）

这几年来比较明显的一些变化如下：

◆数量更多：更多的用户、更多的PV、更多的数据中心、更多的站点、更多的开发人员、更多的操作系统、更多的数据库、更多的机器。

◆Linux：Stack Overflow因使用Windows系列产品而著称，现在他们使用越来越多的Linux机器，用于HAProxy、Redis、Bacula、Nagios、日志和路由器等系统。所有支持功能似乎都由Linux来处理，这就需要开发并行版本发行流程。

◆容错：现在为Stack Overflow提供服务的是使用两条不同互联网连接的两只不同交换机，Stack Overflow添加了冗余机器，一些功能已搬迁到第二个数据中心。

◆NoSQL：Redis现用作整个网络的缓存层。以前没有独立的缓存层，所以这是一大变化，使用基于Linux的NoSQL数据库也是一大变化。

遗憾的是，我没有找到哪些帖子在介绍我上次提出的一些开放问题，比如Stack Overflow如何处理有着众多不同属性的多租户架构，不过我们还是可以从许多方面来了解。下面是收集的一些信息：

统计数字

◆每月网页浏览量9500万次

◆每秒800个HTTP请求

◆每秒180个DNS请求

◆每秒55兆位

◆1600万个用户——Stack Overflow的流量在2010年增长了131%，全球每月不重复访客增至1660万人。

数据中心

Stack Overflow网络架构

◆1个机架放在俄勒冈州的Peak Internet（用于放置chat和Data Explorer）

◆2个机架放在纽约州的Peer 1（用于放置Stack Exchange Network的其余部分）

硬件

◆10台戴尔R610 IIS Web服务器（3台专门用于Stack Overflow）

◆1个英特尔至强处理器E5640，2.66 GHz四核，8线程

◆16 GB内存

◆Windows Server 2008 R2

◆2台戴尔R710数据库服务器：

◆2个英特尔至强处理器X5680，3.33 GHz

◆64 GB内存

◆8个硬盘

◆SQL Server 2008 R2

◆2台戴尔R610 HAProxy服务器：

◆1个英特尔至强处理器E5640，2.66 GHz

◆4 GB内存

◆Ubuntu Server

◆2台戴尔R610 Redis服务器：

◆2个英特尔至强处理器E5640，2.66 GHz

◆16 GB内存

◆CentOS

◆1台戴尔R610 Linux备份服务器，运行Bacula：

◆1个英特尔至强处理器E5640，2.66 GHz

◆32 GB内存

◆1台戴尔R610 Linux管理服务器，用于Nagios和日志：

◆1个英特尔至强处理器E5640，2.66 GHz

◆32 GB内存

◆2个戴尔R610 VMWare ESXi域控制器：

◆1个英特尔至强处理器E5640，2.66 GHz

◆16 GB内存

◆2只Linux路由器

◆5只戴尔Power Connect交换机

开发工具

◆编程语言：C#

◆集成开发环境（IDE）：Visual Studio 2010团队套件

◆框架：微软ASP.NET（版本4.0）

◆Web框架：ASP.NET MVC 3

◆视图引擎：Razor

◆浏览器框架：jQuery 1.4.2

◆数据访问层：LINQ to SQL，一些原始SQL

◆源码控制：Mercurial和Kiln

◆比较工具：Beyond Compare 3

使用的软件和技术

◆Stack Overflow通过BizSpark，使用WISC堆栈

◆操作系统：Windows Server 2008 R2 x64

◆数据库：运行微软Windows Server 2008企业版x64的SQL Server 2008 R2

◆Ubuntu Server

◆CentOS

◆Web 服务器：IIS 7.0

◆HAProxy：用于负载均衡

◆Redis：用作分布式缓存层

◆CruiseControl.NET：用于代码构建和自动化部署

◆Lucene.NET：用于搜索

◆Bacula：用于备份

◆Nagios：（n2rrd和drraw插件）用于监控

◆Splunk：用于日志

◆SQL Monitor：Red Gate公司提供，用于SQL Server监控

◆Bind：用于DNS

◆Rovio：一个小巧的机器人（真正的机器人），让远程开发人员可以通过“虚拟方式”访问办公室。

◆Pingdom：外部监控和警报服务网站