网络爬虫heritrix 3.1 在Windows上的搭建与使用方法说明

本文中使用的heritrix是3.1.0版本的，下载地址是

http://sourceforge.net/projects/archive-crawler/files/heritrix3/3.1.0/

需要下载两个文件夹heritrix-3.1.0-dist.zip和heritrix-3.1.0-src.zip

1. 首先用eclipse建立工程Heritrix
2. 将heritrix-3.1.0-dist.zip中\lib下面的jar包导入工程中。
3. 将heritrix-3.1.0-src.zip中的\engine\src\main\java添加到工程的src目录中，如果将heritrix-3.1.0\commons\src\main\java 目录 和 heritrix-3.1.0\modules\src\main\java 目录也拷贝到src下可以删除heritrix-commons-3.1.0.jar，heritrix-engine-3.1.0.jar，