Windows, Eclipse下开发Heritrix 3.1 （一）环境搭建

最新推荐文章于 2024-09-28 22:14:51 发布

xjtu_java

最新推荐文章于 2024-09-28 22:14:51 发布

阅读量133

点赞数

分类专栏：信息检索文章标签： eclipse windows heritrix

信息检索专栏收录该内容

1 篇文章 0 订阅

订阅专栏

花费了大半天时间在Window系统中搭建Heritrix 3.1的Eclipse开发环境。走了些弯路，但最终都搞定。将其中的经验跟大家分一下。

[*]相关软件准备
(1)安装JDK1.6, 做java开发的都会，不罗嗦了。
(2)安装Maven2，版本2.2.1，具体步骤参考：[url]待写教程[/url]
(3)安装Git,具体步骤参考：[url]待写教程[/url]
(4)安装Eclipse,版本eclipse-jee-indigo-SR2-win32

[*][b]进入正题[/b]

(1)克隆Git源码库


cd C:\Users\jHan\Developer\Heritrix3\source //需修改为自己本地实际的路径
git clone git://github.com/internetarchive/heritrix3.git

或者使用TortoiseGit克隆源码仓库

(2)获取项目相关依赖包
进入Command,


cd C:\Users\jHan\Developer\Heritrix3\source\heritrix3  //heritrix3的源码目录
mvn -Dmaven.test.skip=true install

(3)修改.classpath文件--[b]需要注意的地方[/b]
源码中自带的.classpath有些问题，缺少一些依赖的jar包。具体如下：


增加依赖包libidn-1.15.jar和archive-commons-1.0-SNAPSHOT.jar：
<classpathentry kind="var" path="M2_REPO/org/gnu/inet/libidn/1.15/libidn-1.15.jar"/>
<classpathentry kind="var" path="M2_REPO/org/archive/archive-commons/1.0-SNAPSHOT/archive-commons-1.0-SNAPSHOT.jar"/>

删除依赖的工程archive-commons：
<classpathentry combineaccessrules="false" kind="src" path="/archive-commons"/>

(3)导入项目
打开Eclipse，


选择File / Import... / Existing Projects Into Workspace，选择C:\Users\jHan\Developer\Heritrix3\source\heritrix3

(4)Eclipse中设置M2_REPO变量


选择 Project > Properties > Java Build path > 
选择 Libraries 标签 > Add variable > Configure variables > New
  Name: M2_REPO
  Path: C:/Users/jHan/.m2/repository //路径修改为自己本地maven仓库的实际位置

(5)创建Debug/Run Configuration


打开 Run / Debug Configurations...
双击 Java Applications 创建一个新的
选择 Main class： org.archive.crawler.Heritrix
在Arguments标签中操作：
在Program arguments中输入: -a admin:admin -l dist/src/main/conf/logging.properties
在VM arguments中输入: -Dheritrix.development