Google披露成功的技术秘诀: 购买廉价计算机

转载 2005年05月19日 18:51:00
出处: CNET科技资讯网

Google成功的搜索引擎幕后的技术英雄非常简单:解决PC崩溃问题。

美国加利福尼亚州伯林格姆当地时间本周三,Google负责技术和运营的副总裁Urs Hoelzle在EclipseCon会议上透露了Google数据中心运行的一些秘密。许多人都认为,Google在运行数据中心方面的经验比其搜索算法更宝贵。

Google 能够以数以百万美元计,而不是数以千万美元计的资金构筑其计算基础设施的秘密是:购买相对廉价的计算机。通过研究硬件成本,Google的技术人员发现,购买一些高端服务器的成本要远高于数十台更简单的“大众化”服务器。这种策略的难题就在于使这些硬件协调地运行,确保一台计算机的故障不会影响任务的执行,例如返回搜索结果或显示广告。

Hoelzle说,我们考虑到了家用PC。家用PC因软件和硬件缺陷而造成的崩溃每3年才会发生一次。他说,如果拥有数千台PC,每天有一台PC崩溃是很正常的。因此,最好是能够以自动的方式解决这一问题,否则服务肯定会出现问题。

Google 已经开发了大量的软件工具,来完成计算设备的安装。它开发了被称为“Google文件系统”的文件系统,能够处理64MB大小的数据块。更为重要的是,它能够应付随时可能发生的磁盘或网络故障。Hoelzle说,我们开发了容错软件。如果有应付故障的措施,PC就完全可以担负提供互联网服务的重任。 Google数以千计的PC服务器运行一种基于Red Hat版本的简化版Linux,该版本只是针对Google专门修改的操作系统内核。

Google还设计了一种能够处理海量数据、迅速响应查询的系统,它将整个Web划分为数以百万计的Google的技术人员称之为shard的小块儿。Google创建了一个出现在Web上的词汇的索引,但它还有大量的文档服务器存储收集的网页。

据Hoelzle 称,Google另一个重要的技术创新是,使在数以千计的服务器上运行的软件的开发非常简单。通常情况下,开发在并行服务器上运行的应用软件需要专门的编程工具和技能。名为MapReduce的这款编程工具对于Google降低成本是非常重要的。Hoelzle说,成本是购买设备的成本和编写软件的编程时间之和。从去年开始,Google已经开始大面积使用MapReduce编程工具。

Google还开发了批量任务调度软件。名为Global Work Queue的这款软件能够将计算工作分解成许多更小的任务,并将它们分配给各台计算机完成。

Hoelzle表示,尽管考虑了故障问题,但这还不能解决所有问题。在演讲中,它展示了用于应对Google数据中心发生的紧急事件的6辆救火车的照片。

在接受CNET News.com采访时,Hoelzle表示,电力成本是Google的数据中心设计中的另一个重要因素。他说,不包括人力成本在内的运行成本直接与电力成本相关。电力是降低数据中心运行成本的一个因素,我们不但要降低设备采购费用,还需要降低运行成本。

(原文链接)

今日头条成功的核心技术秘诀是什么?深度解密个性化资讯推荐技术 本文作者:AI研习社 2017-07-05 12:24 导语:从“内行”的角度解密个性化资讯推荐技术。 雷锋网按:本文系知名 IT 技术资

今日头条成功的核心技术秘诀是什么?深度解密个性化资讯推荐技术 本文作者:AI研习社 2017-07-05 12:24 导语:从“内行”的角度解密个性化...

【读书】吴恩达:成功之前,先快速、廉价地失败

[转] http://36kr.com/p/5057956.html 精益创业 本文原创首发于「百度大脑」微信公众号(ID:baidubrain),关注百度大脑,读懂人工智能。转载请在微信后台...

大数据早报:Google向化学家开放量子计算机 科学家将机器学习技术用于地震预测(10.25)

数据早知道,上乐投网看早报!   『谷歌』Google向化学家开放量子计算机 Google 此前已经发布了一些开源且免费使用的软件,方便化学家和材料学家通过访问量子计算机来推动行业的发展...

大数据早报:Google向化学家开放量子计算机 科学家将机器学习技术用于地震预测(10.25)

数据早知道,上36dsj看早报! 来源36大数据,作者:奥兰多 『谷歌』Google向化学家开放量子计算机 Google 此前已经发布了一些开源且免费使用的软件,方便化学...

用Raspberry Pi和乐高打造廉价超级计算机

南安普顿大学教授Cox和他六岁大的儿子在乐高超级计算机前合影 在普罗大众的眼里,超级计算机和F1方程式赛车一样是梦幻性能和天价投入的组合,是骨灰级发烧友做梦都不敢奢望的顶级机器。超级计算...

微软团队 成功秘诀 (pdf)

  • 2008年12月11日 09:45
  • 8.67MB
  • 下载

“匠人精神”6大内涵:德国登峰造极制造业的成功秘诀

http://www.kanshangjie.com/article/63484-1.html 来源:《企业文明》 标签:大内  匠人  德国   2016-02-19 17:10:14...

微软软件工程宝典--成功秘诀

  • 2008年02月17日 20:25
  • 8.82MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Google披露成功的技术秘诀: 购买廉价计算机
举报原因:
原因补充:

(最多只允许输入30个字)