DFS，BFS 在搜索引擎中的应用

DFS，BFS 在搜索引擎中的应用

搜索引擎是怎么工作的,简单来说有三步

1、网页抓取

搜索引擎通过爬虫将网页爬取，获得页面 HTML 代码存入数据库中

2、预处理

索引程序对抓取来的页面数据进行文字提取，中文分词，（倒排）索引等处理，以备排名程序使用

3、排名

用户输入关键词后，排名程序调用索引数据库数据，计算相关性，然后按一定格式生成搜索结果页面。
我们重点看下第一步，网页抓取。
这一步的大致操作如下：给爬虫分配一组起始的网页，我们知道网页里其实也包含了很多超链接，爬虫爬取一个网页后，解析提取出这个网页里的所有超链接，再依次爬取出这些超链接，再提取网页超链接，如此不断重复就能不断根据超链接提取网页。如下图示
如上图所示，最终构成了一张图，于是问题就转化为了如何遍历这张图，显然可以用深度优先或广度优先的方式来遍历。
如果是广度优先遍历，先依次爬取第一层的起始网页，再依次爬取每个网页里的超链接，如果是深度优先遍历，先爬取起始网页 1，再爬取此网页里的链接，爬取完之后，再爬取起始网页 2，依此类推。
实际上爬虫是深度优先与广度优先两种策略一起用的，比如在起始网页里，有些网页比较重要（权重较高），那就先对这个网页做深度优先遍历，遍历完之后再对其他（权重一样的）起始网页做广度优先遍历。