关于 编程启动 Heritrix

最近项目要用到 Heritrix 需要集成到我们的工程中，编程启动.... 起初的思路想深入研究 Heritrix 的源代码，企图自己组织 Heritrix 内部的方法，来实现抓取， 研究数日无果..... :cry: 参考各方面的资料，虽然了解其内部的实现 的实现流程，但依然无法集成入我们的工程。资料可参考

http://www.cnblogs.com/hustcat/archive/2008/10/11/1308866.html

后决定曲线救国，就利用 Heritrix 提供的 UI 页面上现成的 方法好了。 :lol: 以下是一点小心得，


抓取步骤：

1 创建初始化话的 配置文件。[color=red]order.xml,seeds.txt,state.job[/color]

2 启动 startCrawler() 方法，最终调用setupForCrawlStart() 方法抓取

思路：

自己用io生成 任务文件夹 包括order.xml,seeds.txt,state.job 三个文件。

-----------------
order.xml 配置文件，就是我们再UI 界面里 Modules，Settings,设置参数，比较重要的有

Select Writers 保存方式--MirrorWriterProcessor

user-agent: --版本号 ， IP
from: 邮箱（只要符合格式就好了）

------------------
seeds.txt 你要爬取的网址。

----------------------

state.job 一些参数，比如 编号，名称， 状态，配置文件名--order.xml

[color=red]注意：这里比较重要的一个参数， 第三个 要设置成 Pending 这个参数表示任务当前的状态

有Running ，Finished ，等 。一定要 Pending 才可以被识别成 可抓取状态的[/color]。


将3个文件写入一个任务文件夹 ，文件夹依然写入到jobs 。

***************************************************
以上我已经试验了，可以正常爬取，程序里调用没有试呢还。
**************

写完后 再你程序里 调用 ../.../action.jsp?action=stop/star 即可 暂停/开始 任务了

好偷懒的 思路了 哈哈！
**********************
多提建议啊 通知们 有更好的方法的 欢迎探讨啊

qq 12616383 注明 Heritrix :D