核心排序团队、国际搜索团队、用户界面团队、网络作弊以及其他团队。
谷歌的搜索排序是一整套的算法,用于寻找相关程度最高的文档以满足每个用户查询需求。我们每天在海量的网络信息中用这套算法处理数亿次的查询,每一个用户的查询我们都会应用这套算法。我们的网页搜索是访问量最高也是最知名的搜索服务,这套算法也用在其他的谷歌搜索服务,包括图片搜索、资讯搜索、YouTube、谷歌地图、谷歌图书等等,在这些搜索中谷歌的排序算法有所修改。
关于谷歌排序,我最常听到的问题是:“你们怎么做搜索排序?”当然,我需要很多篇幅来介绍建立像谷歌一样的一个堪称艺术品的排序系统,我将在后续的文章中做更深入的阐述。现在,我很高兴与你分享谷歌搜索排序算法的哲学:
1、为全球用户提供相关性最强的本土搜索服务
2、简单易用
3、从不人为干预
关于第一点显而易见,因为我们对搜索服务的热情,我们绝对想确保每个用户查询都获得相关度最高的搜索结果。我们把这一点称作“不放过任何一个有瑕疵的查询”原则。无论何时,无论是来自哪个国家的何种语言的查询,只要我们没有给出理想的搜索结果——尽管我们确信这种不完美在搜索中依旧存在,搜索才刚刚开始,我们都用这一原则激励我们改进服务。
第二点看起来也很明显。哪个系统架构师不希望他们的系统简单易用?不过,因为我们必须对多种语言的各种各样的查询做出回应,我们的搜索系统也随着查询服务的发展而变得越来越复杂。我们非常努力地保持系统的简单易用,同时保证搜索质量没有降低。这是一项长期的工作,但这一切值得我们去努力。我们每周做十次搜索排序算法的改进,简单易用是我们做每一次改进时重点考虑的事情。我们的工程师很清楚地了解针对一个既定查询一篇网页应该如何排序。这个简单易懂的系统可以让我们快速实现创新。“简单易用”的原则非常有效。
关于谷歌排序一个不可避免但总是有些被误导的话题就是“谷歌是否人为干预搜索结果?”请允许我用谷歌算法的第三点原则来回答:从不人为干预。我们认为,互联网是人类共同建立的。你们就是网页的创建者和链接者,我们用我们的算法将人类的贡献利用起来。搜索结果的最终排序应该取决于我们对互联网大社区的总体贡献的运算结果,而不是我们的人为干预的结果。我们相信,对于任何个人的主观判断只是一个主观结果,而通过我们的算法,将充满着庞大的人类智慧的网页和链接提炼出来,其结果优于任何人为的主观判断。
我们反对人为调整搜索结果的第二个理由,就是我们认为,一次失败的查询意味着我们的搜索排序算法的一次改进。而算法的改进将不仅仅提高一次查询的服务质量,它可以提高类似查询的整体搜索服务质量,而且通常是对多种语言搜索服务质量的提高。不过,我还要补充一点,谷歌对于所推荐的网页有明确规定,如果出现违反我们的规定的网站,例如非法、儿童色情、病毒或恶意软件等等,我们将采取行动。
请继续关注我的下一篇文章,我将详细讲解我们的搜索排序技术,并且举出排序技术的几个实例。让我用一句话总结这个博客:我们对于搜索的热情比以往更为强烈。作为一个搜索研究员,我拥有这个世界上最好的工作:-)
谷歌搜索排序的介绍(二)
在我上一篇文章里,我已经介绍了关于谷歌搜索排序的哲学。作为我们探讨搜索质量的努力的一部分,我要向大家介绍更多的谷歌搜索排序背后的技术。我们的排名系统的核心技术源于学术领域的情报检索学。情报检索学对搜索的研究已有近 50 年的历史了。它应用字符突出性的统计讯息,例如字符频率之类,来完成网页排序(可参照“现代情报检索: 概要介绍”来快速了解情报检索技术)。情报检索学为我们提供了一个坚实的基础,在此基础上我们应用最常访问链接、网页结构以及其他创新技术建立起了一个庞大系统。
在过去十年,搜索已经从“给我我所说的”发展到“给我我想要的”。用户对搜索的期望无疑已经提高。我们努力工作以达到每个用户的期望,为了这一点,我们需要更好的理解网页,理解查询,理解用户。在上个十年里,我们已经将理解以上三个部分(在搜索过程中)的技术推到一个全新的层次。
在谷歌,当我们讨论查询关键词的时候,我使用方括号[ ]来标记最开始和最后的查询词(请参考 Matt Cutts 的“如何输入查询关键词”),在本文中我将自始至终使用这一标记。(网页和搜索结果频繁变化,因此,本文举例的解释也许与即时查询的结果不一样。)
理解网页:多年来我们在抓取和索引系统上投入了大量精力。因此,我们拥有一个非常庞大、更新及时的索引。除了规模和更新,我们还用其他方法改进索引。我们用于理解网页的核心技术之一就是理解这个网页要表达的相关的重要概念的能力,即使这个概念在网页中并没有处于明显的位置。比如,即使伦敦 Sprovieri Gallery 的官方网页中没有出现 London 或 Londra 的字眼,但是我们依然能够在搜索结果中给意大利语查询 [galleria sprovieri londra] 提供 Sprovieri Gallery 的官方网页。在美国,一个用户搜索 [cool tech pc vancouver, wa],将找到 www.cooltechpc.com 主页,即使这个网页没有在任何一个地方提到他们在 Vancouver,WA。我们开发的另一些技术比如在网页中区分重要与次重要字符以及信息的新鲜程度。
理解查询关键词:理解我们的用户在寻找什么(而不仅仅是几个查询词)非常关键。在这一领域我们取得了几个值得注意的进步,包括最优拼写建议系统,先进的同义词系统,以及强大的概念分析系统。
绝大多数用户已都曾经用过我们的拼写建议系统。当有人输入 [kofee annan] 时我们便会知道他实际在搜索 Mr. Kofi Annan,系统会立即提示:Did you mean: kofi annan;但是,有人搜索 [kofee beans] 实际上就是在搜索咖啡豆。在全球范围里都做到很高的精确度是困难的,但我们做得不错。
同义词是我们理解查询词的基础。这也是我们正在为谷歌解决的最困难的问题之一。虽然有时对人们来说是很容易理解的词,但对于自动语言处理系统来讲却是尚未解决的难题。作为一个用户,我不想为我的查询中使用什么词汇考虑太多。通常我甚至不知道正确的词是什么。这就是我们的同义词系统发挥作用的时候。我们的同义词系统可进行精密的查询修正,例如,我们的系统知道,单词“Dr”在查询 [Dr Zhivago] 时代表医生,但在 [Rodeo Dr] 中代表驾驶。一个用户查询 [back bumper repair] 时得到的结果是后保险杠修理。对于 [Ramstein ab],我们会自动查询 Ramstein 空军基地;输入 [b&b ab],我们会搜索加拿大阿尔伯塔的住宿加早餐旅馆。我们已经开发了能够理解差不多 100 种不同语言的这一级别的同义词查询,对此我引以为傲。
概念识别是我们应用于搜索排序系统的另一项技术。识别查询中关键概念帮助我们提供更相关的搜索结果。例如,在我们的算法能够理解在 [new york times square church] 查询中,用户正在搜索时代广场上著名的教堂,而不是在纽约时报上搜索文章。我们不会仅仅停留在识别概念阶段;我们会进一步用正确概念强化查询,比如,有人查询 [PC and its impact on people],实际上是在查询计算机对社会的影响,或是有人输入 [rainforest instructional activities for vocabulary],实际上是搜寻雨林教案。我们的查询分析算法包含许多诸如此类的技术,而且,我们在全球范围为差不多每一种语言上提供这一服务。
理解用户:我们努力理解用户的意图,目的在于反馈人们真正想要的,而不仅仅是他们在查询中所说的。这项工作开始于一项全球范围的本土化系统,在这个系统中增加了我们的先进的个性化技术,以及我们在理解用户方面取得进步的几项技术,例如整合搜索。
我们的明确的目标是“ 为全球用户提供相关性最强的本土搜索服务”,这反映在我们的本土化进程中。在不同国家输入同样的查询可能产生完全不同的搜索结果。一位用户在美国输入 [bank] 应该搜到美国的银行,而在英国的用户或许搜到银行授信额度或英国金融机构。在其他说英语的国家,比如澳大利亚、加拿大、新西兰、南非,对此查询的搜索结果应该是当地的金融机构。当人们在一些非英语国家如埃及、以色列、日本、俄国、沙特阿拉伯、瑞士输入这一查询时,事情就变得非常有趣了。同样,查询 [football] 在澳大利亚、英国、美国是指完全不同的体育项目。这些例子告诉我们如何正确获得一个同样的概念的本土化版本。不管怎样,同样的查询在不同国家会有完全不同的结果。举例说明,[Côte d"Or] 是法国的一个地理区——但是在邻近的讲法语的比利时,它却是一家很大的巧克力生产商的名字。同样地,我们给出了正确的搜索结果:-)。
个性化是我们的搜索系统的另一个强项,即为各个用户定制搜索结果。在搜索时已经登录以及标记了网页历史记录的用户将得到比一般的谷歌搜索更贴近意图的结果。例如,一名大量查询足球相关搜索的用户输入 [giants] 时会得到更多与足球有关的搜索结果,而其他用户可能会得到与棒球队相关的搜索结果。同样,如果你倾向于一家特定的购物网站的信息,在你搜索商品时,你会更有可能得到来自这个网站的搜索结果。我们的调查显示,获得个性化搜索结果的用户会发现这些结果比非个性化搜索结果相关性更强。
理解用户意图的另一个例子是查询 [chevrolet magnum]。Magnum 实际上是道奇制造而非雪佛兰。所以我们在搜索结果集中给出了道奇 Magnum 的搜索结果。
我们在整合搜索领域所做的工作也是我们如何解读用户意图,给予他们真正需要的结果的另一个例证。当有人搜索 [bangalore] 时,他们将不仅获得重要的页面,他们同样将获得一个班加罗尔的地图,一段展示街道生活的视频,城市交通等等——观看那段视频时,我几乎觉得自己就在那里:-)——在写作的时候,还会有有关班加罗尔的新闻以及相关的博客。
最后让我简要介绍一下我们在搜索技术上的最新进展:跨语言信息检索。它允许用户首先搜索到非本国语言的信息,然后使用谷歌翻译技术将页面翻译过来,我们使得这些信息很容易获得。我把这一创新叫做:给我我想要的任何语言的答案。一个正在俄国搜索托尼•布莱尔个人传记的用户输入俄文 [Тони Блэр биография],在我们的英文搜索结果底端将显示:
同样地,一个在埃及搜索迪斯尼电影歌曲的用户输入 [أغاني أفلام ديزني] 将获得在英文页面中的搜索结果。让我们兴奋的是,跨语言信息检索让我们离我们的目标更近,让我们能够组织全球信息,真正达到信息在世界范围内的互通与可用。
我将继续展示我们为了尽可能地优化搜索排序系统而开发的的堪称艺术品的技术,但事实上,搜索还远不是一个已经解决的问题。许多谷歌查询仍然没有得到满意结果,而每一个这样的查询都是改进我们的排序系统的机会。我很自信,我们的团队已经开发了许多技术,我们将在不久的将来使我们的排序算法取得更大进步。
我希望,我的关于谷歌搜索排序的两篇文章已经清楚地显示,我们为搜索而生,我们比以往更充满热情。我们为全球用户服务的热情是前所未有的。我们为自己在运转一个非常好的搜索排序系统而自豪,我们将每天努力工作,让它变得更好。