eclipse中配置heritrix的过程----heritrix-1.14.4

heritrix-1.14.4-srcheritrix-1.14.4两个压缩文件解压<?xml:namespace prefix = o ns ="urn:schemas-microsoft-com:office:office" />

配置过程:

1、新建Java Project工程

Eclipse中新建一个Java Project工程(注意:一定是Java Project的工程,不是Web Project工程),工程名称为Heritrixproject。(名字可随便起)

以我的为例,对应地,工程Heritrixproject在本地磁盘目录D:\eclipse-SDK-3.2.1-win32\workspace下面。

可以在目录D:\eclipse-SDK-3.2.1-win32\workspace\Heritrixproject下面看到:两个工程属性文件.classpath.project

2、向新建的Java Project添加Heritrix-1.14.4文件

(1) 将目录E:\Heritrix\heritrix-1.14.4-src\heritrix-1.14.4\src\java\下面的三个目录:orgcomst一起拷贝到新建工程Heritrixproject目录下面(绝对路径为D:\eclipse-SDK-3.2.1-win32\workspace\Heritrixproject)

(2) 将目录E:\Heritrix\heritrix-1.14.4-src\heritrix-1.14.4\src\conf\下面的:三个目录(包括:modulesprofilesselftest),以及四个文件(包括:heritrix.propertiesjmxremote.password.templateheritrix.cacertsjndi.properties)一起拷贝到新建的工程Heritrixproject目录下面。

(3) 将目录E:\Heritrix\heritrix-1.14.4-src\heritrix-1.14.4\src\resources\下面的三个文件(包括:arcMetaheaderBody.xslREADME.txt,其中README.txt没有用处是显而易见的)拷贝到新建的工程Heritrixproject目录下。

(4) 将目录E:\Heritrix\heritrix-1.14.4\heritrix-1.14.4\下面的webapps目录拷贝到新建工程Heritrixproject目录下面(绝对路径为D:\eclipse-SDK-3.2.1-win32\workspace\Heritrix-1.14.4),这里,webapps目录下面有两个WAR(admin.warselftest.war)

(5)E:\Heritrix\heritrix-1.14.4\heritrix-1.14.4\下的lib文件夹拷贝到工程下。

3、修改新建的Java Project工程的配置文件

(1) 打开目录D:\eclipse-SDK-3.2.1-win32\workspace\Heritrixproject下面的.classpath文件,可以看到共有下面6行:

<?xml version="1.0"encoding="UTF-8"?>
<classpath>
<classpathentry kind="src" path="src"/>
<classpathentry kind="con"path="org.eclipse.jdt.launching.JRE_CONTAINER"/>
<classpathentry kind="output" path="bin"/>
</classpath>

可以看到,新建Java Project工程之后,src是资源目录,所以在Eclipse开发平台上,在src下面新建的资源目录呈包结构组织。kind属性指定工程中显示的资源目录,path指定了在该path(Eclipse默认为src)下的资源目录都呈包结构组织。

将上面的内容做很大的修改,修改内容如下所示:(注意:这个地方里面的lib下的jar就是拷贝到工程下lib里面的jar。如果你用的最新版本的可能与这个jar文件不一样,这个你就要做相应的修。此时的最新版本为heritrix-1.14.4)

<?xml version="1.0"encoding="UTF-8"?>

<classpath>

    <classpathentrypath="" kind="src"/>

    <classpathentrypath="org.eclipse.jdt.launching.JRE_CONTAINER"kind="con"/>

    <classpathentrypath="lib/ant-1.6.2.jar" kind="lib"/>

    <classpathentrypath="lib/bsh-2.0b4.jar" kind="lib"/>

    <classpathentrypath="lib/commons-cli-1.0.jar" kind="lib"/>

    <classpathentrypath="lib/commons-codec-1.3.jar" kind="lib"/>

    <classpathentrypath="lib/commons-collections-3.1.jar" kind="lib"/>

    <classpathentrypath="lib/commons-httpclient-3.1.jar" kind="lib"/>

    <classpathentrypath="lib/commons-io-1.3.1.jar" kind="lib"/>

    <classpathentrypath="lib/commons-lang-2.3.jar" kind="lib"/>

    <classpathentrypath="lib/commons-logging-1.0.4.jar" kind="lib"/>

    <classpathentrypath="lib/commons-net-2.0.jar" kind="lib"/>

    <classpathentrypath="lib/commons-pool-1.3.jar" kind="lib"/>

    <classpathentrypath="lib/dnsjava-2.0.3.jar" kind="lib"/>

    <classpathentrypath="lib/fastutil-5.0.3-heritrix-subset-1.0.jar"kind="lib"/>

    <classpathentrypath="lib/itext-1.2.0.jar" kind="lib"/>

    <classpathentrypath="lib/jasper-compiler-tomcat-4.1.30.jar"kind="lib"/>

    <classpathentrypath="lib/jasper-runtime-tomcat-4.1.30.jar" kind="lib"/>

    <classpathentrypath="lib/javaswf-CVS-SNAPSHOT-1.jar" kind="lib"/>

    <classpathentrypath="lib/je-3.3.82.jar" kind="lib"/>

    <classpathentrypath="lib/joda-time-1.6.jar" kind="lib"/>

    <classpathentrypath="lib/jetty-4.2.23.jar" kind="lib"/>

    <classpathentrypath="lib/jets3t-0.5.0.jar" kind="lib"/>

    <classpathentrypath="lib/junit-3.8.2.jar" kind="lib"/>

    <classpathentrypath="lib/jericho-html-2.6.jar" kind="lib"/>

    <classpathentrypath="lib/libidn-0.5.9.jar" kind="lib"/>

    <classpathentrypath="lib/mg4j-1.0.1.jar" kind="lib"/>

    <classpathentrypath="lib/poi-2.0-RC1-20031102.jar" kind="lib"/>

    <classpathentrypath="lib/poi-scratchpad-2.0-RC1-20031102.jar"kind="lib"/>

    <classpathentrypath="lib/servlet-tomcat-4.1.30.jar" kind="lib"/>

    <classpathentrypath="" kind="output"/>

</classpath>其中:

上面的<classpathentry kind="src"path=""/>中,指定src"",这表示,只要在该工程的根目录下面建的目录资源都呈现表结构组织;

上面的kindlib,对应的就是我们拷贝到工程目录下面的libpath的值就是该lib目录下面的所有的jar文件。

4.配置外部jar包,

      切换到eclipse窗口下,刷新下工程。

右键单击工程,选择【Build Path—> Add External Archives】在弹出的窗口中选择添加目录heritrix-1.12.1-src\heritrix-1.12.1\lib

再次刷新下工程。没有错误提示了。

5、修改heritrix.properties属性文件

打开heritrix.properties属性文件,可以看到默认情况下,Heritrix-1.14.4的属性文件如下所示:

##############################################################################
# H E R I T R I X P R O P E R T I E S
##############################################################################

# Properties with 'heritrix.' or'org.archive.crawler.' prefix get loaded
# into System.properties on startup so available via System.getProperties.

# Version is filled in by the maven.xmlpregoal. It copies here the project
# currentVersion property.
heritrix.version = @VERSION@

# Location of the heritrix jobsdirectory.
heritrix.jobsdir = jobs

# Default commandline startup values.
# Below values are used if unspecified on the command line.
heritrix.cmdline.admin = 
heritrix.cmdline.port = 8080
heritrix.cmdline.run = false
heritrix.cmdline.nowui = false
heritrix.cmdline.order =
heritrix.cmdline.jmxserver = false
heritrix.cmdline.jmxserver.port = 8081

上面四行红色标识的代码行,一般来说,需要修改。

第一行,heritrix.version指定了Heritrix的版本号,因为我们测试的是版本号为1.14.4,修改为:

heritrix.version = 1.14.4

第二行,heritrix.jobsdir指定了Heritrix在执行抓取任务时,抓取到的内容存放的目录,默认在工程下面的jobs目录下面。

第三行,heritrix.cmdline.admin指定了登录WebUI时使用的帐号,默认为空,可以自己随意设定,设定需要按照一定的格式(用户名:密码),我们修改为:

heritrix.cmdline.admin = adminadmin

其中,用户名和密码使用“:”分隔。

第四行,heritrix.cmdline.port指定了运行Heritrix后台程序,监听的WebUI使用的端口号,默认为8080端口,可以设置一个当前没有占用的端口号,比如我们修改为:

heritrix.cmdline.port = 9090

、启动Heritrix后台程序

回到Eclipse平台窗口,找到新建的Java Project工程Heritrixproject中,资源包org.archive.crawler下面的Java类文件Heritrix.java,右键单击Heritrix.java文件,选择【Run As—> Java Application】选项,便看见Heritrix后台已经启动了,在Eclipse控制台【Console】中可以看到启动过程的详细信息,如下所示:

 <?xml:namespace prefix = v ns ="urn:schemas-microsoft-com:vml" />

7、登录WebUI

现在,可以成功登录WebUI,设置抓取任务了。

在浏览器地址栏中键入地址链接 http://localhost:9090,可以看到WebUI登录界面.

 

 

 

 

可能出现的问题:
1.
配置好之后当我们运行Heritrix.java的时候可能编译不通过。这是因为sun包是受保护的包,默认只有sun公司的软件才能使用。myEclipse会报错,把对保护使用waring就可以了。

解决办法Windows -> Preferences -> Java-> Compiler -> Errors/Warnings-> Deprecated and trstricted API ->Forbidden reference (access rules): -> change to warning

 

2.可能出现的异常:......thread-10org.archive.util.ArchiveUtils.<linit>( )TLD list....

解决办法:将/heritrix-1.14.4-src/heritrix-1.14.4/src/resources/org/archive/util 下的文本文档拷贝到heritrix中的org/archive/util下;


3.Exception in thread "StartNextJob"java.lang.NoSuchMethodError:

org.apache.commons.httpclient.HttpState.setCookiesMap(Ljava/util/SortedMap;

解决办法HttpStateHeritrixX.XX.X.jarcommons-httpclient.XXX.jar里面重复了,在build path里面把HeritrixX.XX.X.JAR放在commons-httpclient.XXX.jar前面就可以解决这个问题。当然了,开始我根本没有导入HeritrixX.XX.X.jar这个包,会有其他的错误。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值