WebCollector内核解析—如何设计一个爬虫

本文利用WebCollector内核的解析，来描述如何设计一个网络爬虫。我们先来看看两个非常优秀爬虫的设计。

Nutch

Nutch由apache开源组织提供，主页：http://nutch.apache.org/

Nutch是目前最好的网络爬虫之一，Nutch分为内核和插件两个模块组成，内核控制整个爬取的逻辑，插件负责完成每个细节（与流程无关的细节）的实现。具体分工如下：

内核：控制爬虫按照 Inject -> Generator -> Fetch -> Parse -> Updatedb ( -> 提交索引(可选))的流程进行，而且这些流程都是利用map reduce在hadoop上实现的。

插件：实现爬虫的http请求、解析器、URL过滤器、索引等细节功能。

Nutch的内核提供了稳定的可在集群上运行的爬取机制（广度遍历），插件为爬虫提供了强大的扩展能力。

Crawler4j

Crawler4j由Yasser Ganjisaffar（微软bing的一位工程师）提供，项目主页:https://code.google.com/p/crawler4j/

用Crawler4j写爬虫，用户只需要指定两处：

     1) 爬虫的种子、线程数等配置

     2）覆盖WebCrawler类的visit(Page page)方法，对每个页面的自定义操作（抽取、存储）

这使得爬虫的二次开发大大简化，只需要定制两处，即可定制一个完成下载/精抽取功能的爬虫。python爬虫scrapy也是采用这种机制。

Nutch是被设计在hadoop上的，而且插件的调度以反射的形式实现，所以它的插件机制，并不如想象的那样灵活。写一个插件需要附带几个配置文件，并修改Nutch总配置文件