Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动

在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种:一种是通过tomcat或者JBOSS或者Jetty等Web容器,还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码,所以这里就介绍下它的编程启动方式吧....这里贴上示例代码以及注释:

   

Java代码   复制代码
  1. import java.io.File;   
  2. import javax.management.InvalidAttributeValueException;   
  3. import org.archive.crawler.event.CrawlStatusListener;   
  4. import org.archive.crawler.framework.CrawlController;   
  5. import org.archive.crawler.framework.exceptions.InitializationException;   
  6. import org.archive.crawler.settings.XMLSettingsHandler;   
  7.   
  8. public class StartHeritrixByEclipse {   
  9.   
  10.     public static void main(String[] args) throws InterruptedException {   
  11.         String orderFile = "D:/heritrix-jobs/startHeritrixByEclipse/order.xml";//order.xml文件路径   
  12.         File file = null;   //order.xml文件   
  13.            
  14.         CrawlStatusListener listener = null;//监听器   
  15.         XMLSettingsHandler handler = null;  //读取order.xml文件的处理器   
  16.         CrawlController controller = null;  //Heritrix的控制器   
  17.         try {   
  18.             file=new File(orderFile);   
  19.             handler = new XMLSettingsHandler(file);   
  20.             handler.initialize();//读取order.xml中的各个配置   
  21.   
  22.             controller = new CrawlController();//   
  23.             controller.initialize(handler);//从读取的order.xml中的各个配置来初始化控制器   
  24.   
  25.             if (listener != null) {   
  26.                 controller.addCrawlStatusListener(listener);//控制器添加监听器   
  27.             }   
  28.             controller.requestCrawlStart();//开始抓取   
  29.                
  30.             /*  
  31.              * 如果Heritrix还一直在运行则等待  
  32.              */  
  33.             while (true) {   
  34.                 if (controller.isRunning() == false) {   
  35.                     break;   
  36.                 }   
  37.                 Thread.sleep(1000);   
  38.             }   
  39.                
  40.             //如果Heritrix不再运行则停止   
  41.             controller.requestCrawlStop();   
  42.   
  43.         } catch (InvalidAttributeValueException e) {   
  44.             // TODO Auto-generated catch block   
  45.             e.printStackTrace();   
  46.         } catch (InitializationException e) {   
  47.             // TODO Auto-generated catch block   
  48.             e.printStackTrace();   
  49.         } catch (InterruptedException e) {   
  50.             // TODO Auto-generated catch block   
  51.             e.printStackTrace();   
  52.         }   
  53.   
  54.     }   
  55.   
  56. }  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值