搜索引擎的技术架构

作为互联网应用中最具技术含量的应用之一，优秀的搜索引擎需要复杂的架构和高效的算法，以此来支撑对海量数据的获取、存储，以及对用户查询的快速而准确的响应。

下图所示是一个通用搜索引擎的架构示意图。搜索引擎由许多模块组成，各自负责不同的功能作用，相互配合形成完整的架构。

                  

搜索引擎的信息来自于互联网网页，通过网络爬虫将整个互联网的信息获取到本地存储起来。因为互联网中的好多网页是重复的或者相似的，“网页去重”模块就要对此作出检测，去掉重复的网页。

在此之后，搜索引擎就会对抓取到本地的网页进行解析，抽取出网页主体内容，以及页面中包含的指向其他页面的链接。为了加快响应用户的查询速度，网页内容通过“倒排索引”这种高效的查询结构来保存，而网页的链接关系也会保存起来。之所以要保存链接关系，是因为这种关系在网页相关性排序中是可以利用的，通过“链接分析”可以判断页面的相对重要性，对用户提供准确的搜索结果帮助很大

由于网页数量太多，搜索引擎不仅需要保存网页的原始信息，还要存储一些中间的处理结果，使用单台或者少量的机器是不现实的。因此，优秀的云存储与云计算平台显得尤为重要

当搜索引擎接受到用户的查询词之后，首先需要对查询词进行分析，希望能够结合查询词和用户信息来正确推到用户的真正搜索意图。之后，先在缓存中查找，搜索引擎的缓存系统中存储了不同的查询意图对应的搜索结果，如果在缓存中查到成功则直接返回给用户

如果保存在缓存的信息无法满足用户的需求，搜索引擎调用“网页排序”模块，根据用户的查询实时计算哪些网页满足用户信息需求的，并排序后输出作为搜索结果。而网页排序有两个最重要的两个因素一个是网页相似性因素，另一个是网页重要性因素

除了上述功能模块外，“反作弊”模块已成为日益重要的功能。许多网站通过多种方式作弊取得与之不相匹配的高排名而使得用户体验下降。“反作弊”模块就是找出这样的网站并作出相应的惩罚。