Heritrix eclipse安装、配置

部分转自： http://www.360doc.com/content/10/0913/18/2793979_53385587.shtml 

        下载最新版的heritrix1.14.4.zip和heritrix-1.14.4-src.zip。地址： http://sourceforge.net/projects/archive-crawler/files/archive-crawler%20(heritrix%201.x)/

 

二、在Eclipse中配置Heritrix

        1、新建空的java项目（注意不是WEB项目），命名为heritrix；

        2、把heritrix-1.14.4-src\src\java\目录下的org、st和com文件夹拷贝到heritrix/src目录下；

        3、把heritrix-1.14.4-src\src下的wbapps文件夹拷贝到heritrix目录下；

        4、右击heritrix项目，点击properties ，通过JavaBuildPath,将heritrix-1.14.4-src下的lib目录下的所有包导入进来；

        5、解压缩heritrix-1.14.4目录下的heritrix-1.14.4.jar文件 （你没看错，就是用7zip或者win rar把这个jar包给解压了），把解压后的所有文件和文件夹（除org、st、com文件夹和heritrix.properties文件外）拷贝到heritrix目录下；

        6、将heritrix-1.14.4目录下的conf文件夹拷贝到heritrix目录下；并将heritrix目录下的profiles文件夹移入conf文件夹中；

        7、打开eclipse下的heritrix/conf/heritrix.properties文件，找到"heritrix.cmdline.admin=",修改为“heritrix.cmdline.admin = admin:admin”；

        8、Conf/jmxremote.password.template拷贝到heritrix目录下。改名为：jmxremote.password，最后再行改成：

                              monitorRole  admin

                              controlRole    admin

        9、找到org.archive.crawler包，运行Heritrix.java中的main函数。

           成功提示信息为：

           09:14:07.406 EVENT  Starting Jetty/4.2.23 
           09:14:07.656 EVENT  Started WebApplicationContext[/,Heritrix Console] 
           09:14:07.750 EVENT  Started SocketListener on 127.0.0.1:8082 
           09:14:07.750 EVENT  Started  org.mortbay.jetty.Server@179c285 
          Heritrix version: 1.14.4

           可能会出现的异常：

          1、在Heritrix.java中出现File URLConnection 红叉；

                解决办法：将myeclipse中的compiler 属性中的Errors/warring 中的Forbidden....选为warrning即可。

          2、出现的异常 ：......thread-10 org.archive.util.ArchiveUtils.<linit>( )TLD list....

在我的机器上，报错完整内容为：SEVERE thread-1 org.archive.util.ArchiveUtils.<clinit>() TLD list unavailable

解决办法是把这个txt（tlds-alpha-by-domain.txt）拷贝到heritrix/bin/org/archive/util目录下。

          3、在eclipse中可以启动heritrix，但在jobs->modules.jsp页面中没有添加（“Add”）按扭，且出现以下异常。

               致使错误：“无法编译样式表”

              严重  thread-12 org.archive'crawler.framework.WriterPodProcessor.io.arc.......

              解决办法：将heritrix 项目中的modules移动到src目录下。