MySpace 系统架构

 原贴: http://www.dbanotes.net/arch/myspace_arch_2008.html

MySpace 系统架构

作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/arch/myspace_arch_2008.html

在前不久结束的 QCon 2008 上，MySpace 的首席架构师 Dan Farino 做了题为 Behind the Scenes at MySpace.com (PDF 下载)的技术演讲。

架构概况

超过 4,500 台 Web 服务器，配置为 Windows 2003/IIS 6.0/ASP.NET ；超过 1200 台 Cache 服务器，64 位的 Windows 2003，超过 500 台的数据库服务器，配置为 64 位的 Windows 2003，数据库为 SQL Server 2005 。

之前曾有一篇 揭秘 MySpace 架构的文章，也有中文版本《亿万用户网站MySpace的成功秘密》，请 Google 之！

运维数据收集

其实这个演讲我感觉主要讲的是这个数据收集模块 :) MySpace 的方案倒是让我们看到了在超大规模的 Windows 环境下如何进行数据收集的。

每个客户端通过一个 TCP 连接到收集上服务器。收集的信息包括：Windows 性能计数器 Performance Counters、 WMI 对象(定制后的 WMI 对象)、事件日志、 硬件数据等等。收集器服务(Agent) 用 C#实现的，完全的异步 I/O，用了微软的 Concurrency and Coordination Runtime 库。每台主机上一个 Agent。其实国内也有超大规模的 Windows 环境 -- 比如盛大，数据采集和监控的机制倒是类似的。

数据协议用的 Google 的 Protocol buffers。这倒是看到 Google 的这玩意儿公开后第一家大站点在用。也是因为用 Protocol buffers 从而不用 XMPP+ejabberd 的消息处理方案。

QCon 是我非常心仪的技术会议。可惜今年因为客观原因没能组织同事去参加。期待 2009 年在伦敦的会议。

--EOF--

延伸阅读：InfoQ 对 DanFarino 的专访。

这篇 【 MySpace 系统架构 】来自 dbanotes.net | del.icio.us | 雅虎收藏⁺

By Fenng on December 16, 2008 12:56 PM | Permalink | TrackBacks (0) | Arch | Edit

<script src="http://w.sharethis.com/widget/?tabs=web%2Cpost%2Cemail&charset=utf-8&style=default&publisher=abd89f47-864f-4619-8ecd-501d8d2e9b58" type=text/javascript></script> ShareThis <script language=javascript src="http://www.postreach.com/ccengine/display_iframe?perlink=http://www.dbanotes.net/arch/myspace_arch_2008.html&url=http://www.dbanotes.net/" type=text/javascript></script>

0 0 0 1

	ClickComments: 点击评论 了解更多 | 取得這個 Widget

Generator | Trampoline | 外贸英才网 | Vinyl fence
Vertical Packaging Machine | Digital Blood Pressure Monitor

自定义搜索

本文相关评论|Comments(2)

HiugongGwok 的评论:

会后还做了采访：
http://www.infoq.com/interviews/MySpace-Architecture-Dan-Farino

他们居然是从两层的ColdFusion渐变到.NET，很神奇。

BTW，别忘了明年4月还有QCon北京。

December 16, 2008 4:37 PM

xi2008wang 的评论:

讲地这么精简*_*, 那偶去啃PDF去了

December 16, 2008 7:28 PM

添加评论

<script type=text/javascript> </script> 直接 匿名评论 或者 登录 评论这篇文章(OpenID、TypeKey...)