Google披露成功的技术秘诀: 购买廉价计算机

出处: CNET科技资讯网

Google成功的搜索引擎幕后的技术英雄非常简单:解决PC崩溃问题。

美国加利福尼亚州伯林格姆当地时间本周三,Google负责技术和运营的副总裁Urs Hoelzle在EclipseCon会议上透露了Google数据中心运行的一些秘密。许多人都认为,Google在运行数据中心方面的经验比其搜索算法更宝贵。

Google 能够以数以百万美元计,而不是数以千万美元计的资金构筑其计算基础设施的秘密是:购买相对廉价的计算机。通过研究硬件成本,Google的技术人员发现,购买一些高端服务器的成本要远高于数十台更简单的“大众化”服务器。这种策略的难题就在于使这些硬件协调地运行,确保一台计算机的故障不会影响任务的执行,例如返回搜索结果或显示广告。

Hoelzle说,我们考虑到了家用PC。家用PC因软件和硬件缺陷而造成的崩溃每3年才会发生一次。他说,如果拥有数千台PC,每天有一台PC崩溃是很正常的。因此,最好是能够以自动的方式解决这一问题,否则服务肯定会出现问题。

Google 已经开发了大量的软件工具,来完成计算设备的安装。它开发了被称为“Google文件系统”的文件系统,能够处理64MB大小的数据块。更为重要的是,它能够应付随时可能发生的磁盘或网络故障。Hoelzle说,我们开发了容错软件。如果有应付故障的措施,PC就完全可以担负提供互联网服务的重任。 Google数以千计的PC服务器运行一种基于Red Hat版本的简化版Linux,该版本只是针对Google专门修改的操作系统内核。

Google还设计了一种能够处理海量数据、迅速响应查询的系统,它将整个Web划分为数以百万计的Google的技术人员称之为shard的小块儿。Google创建了一个出现在Web上的词汇的索引,但它还有大量的文档服务器存储收集的网页。

据Hoelzle 称,Google另一个重要的技术创新是,使在数以千计的服务器上运行的软件的开发非常简单。通常情况下,开发在并行服务器上运行的应用软件需要专门的编程工具和技能。名为MapReduce的这款编程工具对于Google降低成本是非常重要的。Hoelzle说,成本是购买设备的成本和编写软件的编程时间之和。从去年开始,Google已经开始大面积使用MapReduce编程工具。

Google还开发了批量任务调度软件。名为Global Work Queue的这款软件能够将计算工作分解成许多更小的任务,并将它们分配给各台计算机完成。

Hoelzle表示,尽管考虑了故障问题,但这还不能解决所有问题。在演讲中,它展示了用于应对Google数据中心发生的紧急事件的6辆救火车的照片。

在接受CNET News.com采访时,Hoelzle表示,电力成本是Google的数据中心设计中的另一个重要因素。他说,不包括人力成本在内的运行成本直接与电力成本相关。电力是降低数据中心运行成本的一个因素,我们不但要降低设备采购费用,还需要降低运行成本。

(原文链接)
阅读更多
个人分类: 网络文摘
上一篇Google真能颠覆传统新闻模式?
下一篇李开复寄语中国软件业
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭