1. 首先从http://sourceforge.net/projects/archive-crawler/ 中下载
heritrix-1.14.4.zip 和 heritrix-1.14.4-src.zip(Windows)
2. 在Eclipse 中创建一个java project的工程(可以命名为Heritrix)
3. 将heritrix-1.14.4-src.zip解压中的src/java 中的 com、org、st三个文件夹复制到工程src下。
4. 将heritrix-1.14.4-src.zip解压中src中conf文件夹复制到项目根目录。
5. 将heritrix-1.14.4-src.zip解压中lib文件夹复制到项目根目录。
6. 将heritrix-1.14.4-src.zip解压中src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到工程中org.archive.util包下。
7. 将heritrix-1.14.4.zip解压中webapps文件夹复制到项目根目录。
如果文件夹名称不是webapps 需要在Heritrix.java中进行相应的更改。
注意他的位置在
Org.archive.crawler heritrix.java
- /**
- * @throws IOException
- * @return Returns the directory under which reside the WAR files
- * we're to load into the servlet container.
- */
- public static File getWarsdir()
- throws IOException {
- return getSubDir("webapps");
- }
8. 配置文件进行修改,找到conf下heritrix.properties文件
- //设置用户密码
- heritrix.cmdline.admin = admin:admin
- //设置端口
- heritrix.cmdline.port = 8080
//设置用户密码
heritrix.cmdline.admin = admin:admin
//设置端口
heritrix.cmdline.port = 8080
9. 对工程进行jar包引入,将lib下面所有的jar包引入工程。
10.Eclipse中导入Heritrix,报错找不到类 sun.net.www.protocol.file.FileURLConnection,sun包是受保护的包,默认只有sun公司的软件才能使用。Eclipse会报错,把对保护使用warning就可以了。Windows -> Preferences -> Java -> Compiler -> Errors/Warnings-> Deprecated and trstricted API -> Forbidden reference (access rules): -> change to warning
11. 添加配置文件夹。如果你运行Heritrix时,在配置页面中没有可选项,这一步可以解决问题。在工程中找到org.archive.crawler.Heritrix.java右键选运行方式配置,选择Classpath ,选择User Entries -- Advanced ,选择Add Folders,将conf文件夹添加进去。点击Run 开始运行
- 07:34:47.484 EVENT Starting Jetty/4.2.23
- 07:34:47.906 EVENT Started WebApplicationContext[/,Heritrix Console]
- 07:34:48.125 EVENT Started SocketListener on 127.0.0.1:8080
- 07:34:48.125 EVENT Started org.mortbay.jetty.Server@133f1d7
- Heritrix version: @VERSION@