python爬虫国内外研究现状

作为搜索引擎技术核心元素之一，自1993年初 Matthew Gray’s Wandered 在麻省理工学院开发出有史记载的第一个网络爬虫以来，爬虫技术历经20多年的发展，技术已日趋多样。为满足不同用户多种多样的需求，创建开发了类型众多的爬虫系统。按照实现技术和其系统构成，爬虫系统主要可以分为以下几种：

1.通用网络爬虫

通用网络爬虫（General Purpose Web Crawler）也可称之为全站爬虫（Scalable Web Crawler），它通过一系列预设的初始链接开始，获取页面上所有链接，根据预设规则，提取链接，进入待爬取队列，进而不断访问网页下载网页或取链接。然后通过HTML解析技术，获取页面数据，提取所需信息并保存，与此同时将新获取的链接放入待爬取队列，直到达到系统预设指定条件为止。通用网络爬虫有两种常用的爬取策略：

（1）深度优先策略（Depth first strategy）：

这个是在爬虫发展早期使用比较多的方法。这种策略最终要达到的效果是一直搜索到由站点分布抽象出来的树的叶子节点(即网页站点的最底层不包含任何其他不重复的网页链接的网页) 。在一个网页文件中