heritrix3 后台运行job

在实际项目开发中，用heritrix3抓取网页，不可能启动Heritrix类，进入web界面，创建job,launch等操作。在实际开发中，我们要通过程序去实现一个job的创建，运行。

1.根据自己的需求配置好crawler-beans.cxml。

2.通常的job launch后，进入暂停状态，要进入运行状态，需要把属性name=”pauseAtStart” 值改为”false”.

<!-- CRAWLCONTROLLER: Control interface, unifying context -->
 <bean id="crawlController" 
   class="org.archive.crawler.framework.CrawlController">
  <!-- <property name="maxToeThreads" value="25" /> -->
  <!-- <property name="pauseAtStart" value="true" /> -->
  <!-- <property name="runWhileEmpty" value="false" /> -->
  <property name="pauseAtStart" value="false"/>
  <!-- <property name="recorderInBufferBytes" value="524288" /> -->
  <!-- <property name="recorderOutBufferBytes" value="16384" /> -->
  <!-- <property name="scratchDir" value="scratch" /> -->

 </bean>

3.Java示例代码如下：

File cxml = new File("D:\\hq\\workspace\\heritrix-3.1.0-src\\jobs\\testjob\\crawler-beans.cxml");
        CrawlJob cj = new CrawlJob(cxml);
        cj.validateConfiguration();
        cj.launch();