搜索引擎工作原理

搜索引擎工作原理： 爬行和抓取------>预处理------>排名

爬行和抓取:

1，是通过蛛蛛程序来实现的,蛛蛛主要是通过链接来抓取所有页面的.

所以要想让蛛蛛尽量的抓取页面，必须要吸引蛛蛛（网站优化）。

2，为了避免重复爬行和抓取网址，搜索引擎建立了一个地址库用来保存已经抓取的页面

地址库中的url 大多数是蛛蛛获取到的，当然也有一些是通过提交网址的

（不过这样可能没什么用因为蛛蛛不抓取的，说明权重比较低）

3，文件存储，每个url 都有对应的文件id,该文件用于保存抓取到的内容

预处理:

1,提取文字，(html格式标签，js 这些是没法用于排名的内容的)

2，中文分词，有两种方法一种是基于词典匹配的，另一种是基于统计的（一般两种都是结合着用的）

比如 ：高效减肥 ，词典匹配高效   减肥 都可以，统计匹配就 高效减肥

3，去停止词: 什么 的 了 地 啊哈  这些搜索引擎在索引页面的时候是会去掉的

4，消除噪声：那些无关紧要的内容（排名是不会使用噪声内容的）

5，去重：搜索引擎很不喜欢同样的内容出现在两个不同的网站上

6，索引：经过上面的步骤后，搜索引擎程序就可以提取关键词了，按照分词程序分好的词

把页面转换为一个关键词组成的集合，同时记录每个关键词在页面上的出现频率，密度等

排名:

1 指令处理：查询词完成分词后，搜索引擎的默认处理方式是在关键词之间 先使用“与”逻辑 后使用“或”。

比如用户输入“减肥方法” 程序分为”减肥“和“方法”和“减肥方法”，那么有包含这两种的就优先匹配，其次在匹配单个的

2  相关性计算

词频及密度，关键词的位置及形式（title h1 黑体等）关键词距离（减肥和方法不要写的太远了，距离越近搜索引擎会认为关系更大的）