按照一定策略把网页抓回到搜索引擎服务器的,搜索引擎的工作原理

搜索引擎端

搜索引擎自己不产生内容，他们的内容全部来源于互联网，搜索引擎主动抓取网页，并进行内容处理、索引部分的流程和机制如下：

1、派出Spider，然后按照一定的策略把网页抓回到搜索引擎服务器。(具体怎么抓的，在spider分类里讲了一些，可回去阅读)

2、对抓回的网页进行链接抽离(去掉网页中的超链接)、内容处理(对内容进行识别，分类)、消除噪声(不相干的页面清理)、提取该页主题文本内容(通过标题以及关键词标签及密度)。

3、对网页的文本内容进行中文分词(这个后面会讲到)，去除停止词(什么是停止词？)等。

4、对网页内容进行分词后判断该页面内容与已经索引的网页是否有重复，剔除重复页，对剩余网页进行倒排索引，然后等待用户的检索。

用户端

当用户进行查询时，搜索引擎工作的流程机制如下：

1、先对用户所查询的关键词进行分词处理，并根据用户的地理位置(这个很容易判断，用户的机器IP地址为主要指标)，和历史检索特征(用户机器上的COOKIE)进行用户需求分析，以便使用地域性搜索结果和个性化搜索结果展示用户最需要的内容(因为只有这样，用户才会更喜欢搜索引擎)。

2、搜索引擎查询自己的缓存中是否有该关键词的查询结果，如果有，为了最快速地呈现给用户，搜索引擎会根据当下用户的各种信息来判断用户的真正需求，对缓存中的结果进行微调或直接呈现给用户。(上图中的cache的中文意思是“缓存”，什么是缓存？)

3、如果用户查询的关键词，服务器缓存中不存在，那么，搜索引擎就在索引库中的网页进行调取排名呈现给用户，并把这个关键词和对应的搜索结果加入到缓存中，以便其他用户查询或当前用户重复查询。

4、网页排名是根据用户的搜索词和搜索需求，对索引库中的网页进行相关性、重要性(这里就是所谓的权重分析)和用户体验的高低进行分析所得出的。用户在搜索结果中的点击和重复搜索行为，也可以告诉搜索引擎用户的体验如何。因为这部分一些SEO工作者会有很多作弊行为，也就导致搜索引擎推出反作弊算法进行干预，有时，搜索引擎甚至还要进行人工干预(当作弊手法非常高明时)。