Heritrix1.14源码分析（5） 如何让Heritrix在Ecplise等IDE下编程启动

在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种：一种是通过tomcat或者JBOSS或者Jetty等Web容器，还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码，所以这里就介绍下它的编程启动方式吧....这里贴上示例代码以及注释：

   

Java代码  

1. import java.io.File;  
2. import javax.management.InvalidAttributeValueException;  
3. import org.archive.crawler.event.CrawlStatusListener;  
4. import org.archive.crawler.framework.CrawlController;  
5. import org.archive.crawler.framework.exceptions.InitializationException;  
6. import org.archive.crawler.settings.XMLSettingsHandler;  
7.   
8. public class StartHeritrixByEclipse {  
9.   
10.     public static void main(String[] args) throws InterruptedException {  
11.         String orderFile = "D:/heritrix-jobs/startHeritrixByEclipse/order.xml";//order.xml文件路径  
12.         File file = null;   //order.xml文件  
13.           
14.         CrawlStatusListener listener = null;//监听器  
15.         XMLSettingsHandler handler = null;  //读取order.xml文件的处理器  
16.         CrawlController controller = null;  //Heritrix的控制器  
17.         try {  
18.             file=new File(orderFile);  
19.             handler = new XMLSettingsHandler(file);  
20.             handler.initialize();//读取order.xml中的各个配置  
21.   
22.             controller = new CrawlController();//  
23.             controller.initialize(handler);//从读取的order.xml中的各个配置来初始化控制器  
24.   
25.             if (listener != null) {  
26.                 controller.addCrawlStatusListener(listener);//控制器添加监听器  
27.             }  
28.             controller.requestCrawlStart();//开始抓取  
29.               
30.             /* 
31.              * 如果Heritrix还一直在运行则等待 
32.              */  
33.             while (true) {  
34.                 if (controller.isRunning() == false) {  
35.                     break;  
36.                 }  
37.                 Thread.sleep(1000);  
38.             }  
39.               
40.             //如果Heritrix不再运行则停止  
41.             controller.requestCrawlStop();  
42.   
43.         } catch (InvalidAttributeValueException e) {  
44.             // TODO Auto-generated catch block  
45.             e.printStackTrace();  
46.         } catch (InitializationException e) {  
47.             // TODO Auto-generated catch block  
48.             e.printStackTrace();  
49.         } catch (InterruptedException e) {  
50.             // TODO Auto-generated catch block  
51.             e.printStackTrace();  
52.         }  
53.   
54.     }  
55.   
56. }  

 

这里可以发现，其实只要知道一个order.xml路径就可以开始抓取了(同时还要seeds.txt种子文件),至于order.xml如何配置可以查看我前面的博客:http://guoyunsky.iteye.com/admin/blogs/613412