Eclipse中配置Heritrix-1.14.4

 在Eclipse中构建Heritrix

这里采用的是Heritrix 1.14.4（2010年5月10日的版本 目前来看是最新版本）

1.首先从http://sourceforge.net/projects/archive-crawler/ 中下载
heritrix-1.14.4.zip
heritrix-1.14.4-src.zip

2.在Eclipse 中创建一个java project的工程,分别对
heritrix-1.14.4.zip
heritrix-1.14.4-src.zip 进行解压。

3.将heritrix-1.14.4-src.zip解压中的src/java 中的 com、org、st三个文件夹复制到工程src下。
4.将heritrix-1.14.4-src.zip解压中src中conf文件夹复制到项目根目录。
5.将heritrix-1.14.4-src.zip解压中lib文件夹复制到项目根目录。
6.将heritrix-1.14.4-src.zip解压中src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到工程中org.archive.util包下。
7.将heritrix-1.14.4.zip解压中webapps文件夹复制到项目根目录。
如果文件夹名称不是webapps 需要在Heritrix.java中进行相应的更改。

Java代码  

1. /**   
2.  * @throws IOException   
3.  * @return Returns the directory under which reside the WAR files   
4.  * we're to load into the servlet container.   
5.  */     
6. public static File getWarsdir()     
7. throws IOException {     
8.     return getSubDir("webapps");     
9. }    

/** 
 * @throws IOException 
 * @return Returns the directory under which reside the WAR files 
 * we're to load into the servlet container. 
 */  
public static File getWarsdir()  
throws IOException {  
    return getSubDir("webapps");  
}  

8.配置文件进行修改,找到conf下heritrix.properties文件

Java代码  

1. //设置用户密码     
2. heritrix.cmdline.admin = admin:admin     
3. //设置端口     
4. heritrix.cmdline.port = 8080    

//设置用户密码  
heritrix.cmdline.admin = admin:admin  
//设置端口  
heritrix.cmdline.port = 8080  

9.对工程进行jar包引入，将lib下面所有的jar包引入工程。
10.在工程中找到org.archive.crawler.Heritrix.java右键选运行方式配置
选择Classpath
选择User Entries -- Advanced
选择Add Folders 将conf文件夹添加进去。
点击Run 开始运行

Java代码  

1. 05:22:32.875 EVENT  Starting Jetty/4.2.23     
2. 05:22:32.937 WARN!! Delete existing temp dir C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\Jetty_127_0_0_1_8080__ for WebApplicationContext[/,jar:file:/D:/workspace/jcjcd/heritrixDemo/webapps/admin.war!/]     
3. 05:22:33.062 EVENT  Started WebApplicationContext[/,Heritrix Console]     
4. 05:22:33.156 EVENT  Started SocketListener on 127.0.0.1:8080     
5. 05:22:33.156 EVENT  Started org.mortbay.jetty.Server@1f6f0bf     
6. Heritrix version: @VERSION@    

05:22:32.875 EVENT  Starting Jetty/4.2.23  
05:22:32.937 WARN!! Delete existing temp dir C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\Jetty_127_0_0_1_8080__ for WebApplicationContext[/,jar:file:/D:/workspace/jcjcd/heritrixDemo/webapps/admin.war!/]  
05:22:33.062 EVENT  Started WebApplicationContext[/,Heritrix Console]  
05:22:33.156 EVENT  Started SocketListener on 127.0.0.1:8080  
05:22:33.156 EVENT  Started org.mortbay.jetty.Server@1f6f0bf  
Heritrix version: @VERSION@  

到目前我们已经完成Heritrix在Eclipse下的配置。