优先策略之广度优先和最佳优先

前言：前段时间一直在忙着准备人工智能的项目答辩，其实就是编了一个很简单的网络程式——网络爬虫，然后模拟毕业论文的形式，准备开题报告，论文答辩（PPT），和论文设计（word）。整个项目很简单，这里主要的关注点在于网页的抓取策略，也就是常见的三种算法：深度优先、广度优先和最佳优先。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。

　　广度优先搜索策略
　　广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页， 一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。

　　最佳优先搜索策略
　　最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度&