爬虫技术

 

参考： 聚 焦 爬 虫 技 术 研 究 综 述 。 周立 柱 ， 林 玲

 

1. 概述

通用性搜索引擎存在着一定的局限性，如:

(1) 不 同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

(2) 通 用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

(3) 万 维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频/视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

(4) 通 用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

 

为了 解 决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general-purpose webcrawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

 

相对 于 通用网络爬虫，聚焦爬虫还需要解决三个主要问题：

(1) 对 抓 取目标的描述或定义;

(2) 对 网 页或数据的分析与过滤;

(3) 对 U RL的搜索策略。

 

 

2 抓取目标描述

 

现有 聚 焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。基于 目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为:

(1) 预 先 给定的初始抓取种子样本;

(2) 预 先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等;

(3) 通 过用户行为确定的抓取目标样例，分为:

a) 用 户浏 览过程中显示标注的抓取样本;

b) 通 过用 户日志挖掘得到访问模式及相关样本。

其中 ，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。

 

 

3 网页搜索策略

 

网页 的 抓 取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷人(tra pped)问题，目前常见的是广度优先和最佳优先方法。

3.1 广度优先搜索策略

广度 优 先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广度优先

搜索方法[1261。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大[261。另外一种方法是

将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。

3.2 最佳优先搜索策略

最佳 优 先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点

 

 

4 网页分析算法

网页 分 析 算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。

4.1 基于网络拓扑的分析算法

基于 网 页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的对象(可以是网页或网站等)作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。

 

PageRankE 和HITS 算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念:权威型网页(au thority)和中心型网页(hub)

 

网站 粒 度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重

 

4.2 基于网页内容的网页分析算法

基于 网 页内容的分析算法指的是利用网页内容(文本、数据等资源)特征进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面(或称为Hidden Web)数据为主，后者的数据量约为直接可见页面数据(PIW,Pu bliclyIndexableW eb)""" 的400一500倍[9]。另一方面，多媒体数据、Web Service等各种网络资源形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类:第一种针对以文本和超链接为主的无结构或结构很简单的网页;第二种针对从结构化的数据源(如RDBMS)动态生成的页面，其数据不能直接批量访问;第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。

 

针对Hidden Web的爬虫与普通的聚焦爬虫相比，需要更多地对网页中表单进行发现、探测查询(probingquery)和分析

 

4.3 用户协作网页分析算法

链接 提 供的网页关联度往往带有噪音，网络的异构性和动态性使得对链接结构的建模很难达到令人满意的效果。而用户的访问模式往往可靠反映了资源的主题相关性，且具有时效性，可即时反应网络链接的变更等情况。文献「14-16]提出了通过用户协作、学习浏览模式来抓取网页的方法。协作抓取需要获取用户浏览行为，一般有两种方法:日志挖掘和用户标注。