转载自http://guoyunsky.iteye.com/blog/644396

  前面说过Heritrix可以在某个抓取基础上(这里假设为A)继续抓取,因为Heritrix对每一个URL都会有相应的日志处理，同时还有checkpoint(备份中心)。所以只要通过A上的日志就可以完全按照该基础A继续抓取,不会重复抓取任何A抓过的任何东西,也会继续抓取A没有抓过的URL。做到这个有两种方法，一种是针对Web启动的,还有一种是针对我上次写的不通过Web启动的方式(启动方式见博客:Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动).

       1)下面介绍这两种启动方式,第一种，通过Web启动:

              进入页面,选择：Jobs->Base on a recovery->然后再选择你要二次抓取的Job中的recover-log->然后再点击按钮Submit Job。之后回到Console页面，点击Start。之后就开始再你想要的基础上抓取了。你可以进入这个新建的抓取JOB下的logs目录，发现里面有个recover.gz大小跟你想要二次抓取JOB中的recover.gz大小一般大。以及你去查看该job下的order.xml中的<string name="recover-path"></string>中间的值发现就是你要二次抓取job下recover.gz的绝对目录

       2)不通过Web方式启动:

               这个相对简单,只要修改order.xml中<string name="recover-path">D:/recover.gz</string>,中间的值就http://guoyunsky.iteye.com/blog/644396是你想二次抓取的JOB中logs目录下recover.gz的绝对路径。

               同时最好更新一下值为：
               <boolean name="checkpoint-copy-bdbje-logs">true</boolean>
               <boolean name="recover-retain-failures">false</boolean>
               <boolean name="recover-scope-includes">false</boolean>
               <boolean name="recover-scope-enqueues">false</boolean>

               至于为什么要这样设置，请参考我关于order.xml介绍的博客：Heritrix源码分析(二) 配置文件order.xml介绍

 

      同时可能你已经知道某些URL不需要抓取，比如从数据库导出来的，而这些URL你的Heritrix并没有处理过。所以这些外部的URL就无法通过以上两种办法导入Heritrix了。这里我写了个工具类，有两种方式，一种是你将URL都放在文件中，然后通过这个工具类从这个文件中读取这些URL(必须一行一个URL)，导入到Heritrix中。还有一种方法是针对数据库的，你只要提供相应的ResultSet以及该URL对应数据库的字段名，也可以导入Heritrix，下面贴上代码：

 
  
  1. import java.io.BufferedReader; 
  2. import java.io.File; 
  3. import java.io.FileInputStream; 
  4. import java.io.FileNotFoundException; 
  5. import java.io.IOException; 
  6. import java.io.InputStream; 
  7. import java.io.InputStreamReader; 
  8. import java.io.UnsupportedEncodingException; 
  9. import java.sql.Connection; 
  10. import java.sql.ResultSet; 
  11. import java.sql.SQLException; 
  12. import java.sql.Statement; 
  13.  
  14. import org.archive.crawler.frontier.RecoveryJournal; 
  15.  
  16. public class UrlToRecoverUtil { 
  17.     /** 
  18.      * 从文件中导入URl到recover.gz以便URL不再被抓取 
  19.      *  
  20.      * @param sourceFilePath        URL来源文件 
  21.      * @param sourceFileEncoding    URL来源文件的编码  
  22.      * @param recoverGzPath         要写到的recover.gz文件目录 
  23.      * @param recoverGzFileName     recover.gz文件名,可以为空 
  24.      * @return 
  25.      */ 
  26.     public static boolean urlToRecoverUtilByFile(String sourceFilePath,String sourceFileEncoding,String recoverGzDir,String recoverGzFileName){ 
  27.         boolean result=false; 
  28.          
  29.         InputStream is=null; 
  30.         InputStreamReader isr=null; 
  31.         BufferedReader br=null; 
  32.         File sourceFile=null; 
  33.          
  34.         String line=null; 
  35.         RecoveryJournal recover = null; 
  36.          
  37.         try { 
  38.             sourceFile=new File(sourceFilePath); 
  39.              
  40.             //recover.gz文件为空则采用默认名字 
  41.             if(recoverGzFileName==null||recoverGzFileName.equals("")){ 
  42.                 recoverGzFileName="recover.gz"; 
  43.             } 
  44.             recover=new RecoveryJournal(recoverGzDir,recoverGzFileName);//构造recover.gz对象 
  45.              
  46.             //读取文件内容 
  47.             is=new FileInputStream(sourceFile); 
  48.             isr=new InputStreamReader(is,sourceFileEncoding); 
  49.             br=new BufferedReader(isr); 
  50.              
  51.             //一行一行写入recover.gz文件 
  52.             while((line=br.readLine().trim())!=null){ 
  53.                 if(!line.equals("")){ 
  54.                     recover.writeLine(RecoveryJournal.F_SUCCESS, line); 
  55.                 } 
  56.                  
  57.             } 
  58.             result=true; 
  59.              
  60.         } catch (FileNotFoundException e) { 
  61.             e.printStackTrace(); 
  62.         } catch (UnsupportedEncodingException e) { 
  63.             e.printStackTrace(); 
  64.         } catch (IOException e) { 
  65.             e.printStackTrace(); 
  66.         }finally{ 
  67.             try { 
  68.                 if(recover!=null){ 
  69.                     recover.close(); 
  70.                 } 
  71.                 if(br!=null){ 
  72.                     br.close(); 
  73.                 } 
  74.                 if(isr!=null){ 
  75.                     isr.close(); 
  76.                 } 
  77.                 if(is!=null){ 
  78.                     is.close(); 
  79.                 } 
  80.             } catch (IOException e) { 
  81.                 e.printStackTrace(); 
  82.             } 
  83.              
  84.         } 
  85.          
  86.         return result; 
  87.     } 
  88.     /** 
  89.      * 从ResultSet结果集中获取URL导入到recover.gz以便URl不再被抓取 
  90.      *  
  91.      * @param rs                ResultSet结果集 
  92.      * @param filedName         ResultSet结果集中要获取URL对应的字段名        
  93.      * @param recoverGzDir      要写到的recover.gz文件目录 
  94.      * @param recoverGzFileName recover.gz文件名,可以为空 
  95.      * @return 
  96.      */ 
  97.     public static boolean urlToRecoverUtilByResultSet(ResultSet rs,String filedName,String recoverGzDir,String recoverGzFileName){ 
  98.         boolean result=false; 
  99.          
  100.         String line=null; 
  101.         RecoveryJournal recover = null; 
  102.          
  103.         try { 
  104.             if(recoverGzFileName==null||recoverGzFileName.equals("")){ 
  105.                 recoverGzFileName="recover.gz"; 
  106.             } 
  107.             recover=new RecoveryJournal(recoverGzDir,recoverGzFileName); 
  108.             if(rs!=null){ 
  109.                 while(rs.next()){ 
  110.                     line=rs.getString(filedName).trim(); 
  111.                     if(!line.equals("")){ 
  112.                         recover.writeLine(RecoveryJournal.F_SUCCESS, line); 
  113.                     } 
  114.                      
  115.                 } 
  116.                 result=true; 
  117.             } 
  118.         } catch (SQLException e) { 
  119.             e.printStackTrace(); 
  120.         } catch (IOException e) { 
  121.             e.printStackTrace(); 
  122.         }finally{ 
  123.             try { 
  124.                 if(rs!=null){ 
  125.                     rs.close(); 
  126.                 } 
  127.                 if(recover!=null){ 
  128.                     recover.close(); 
  129.                 } 
  130.             } catch (SQLException e) { 
  131.                 e.printStackTrace(); 
  132.             } 
  133.         }    
  134.          
  135.         return result; 
  136.     } 
  137.      
  138.      
  139.      
  140.     /** 
  141.      * @param args 
  142.      */ 
  143.     public static void main(String[] args) { 
  144.         /* 
  145.          * 示例,从结果集中写入URL到recover.gz 
  146.          */ 
  147.         Connection con=null; 
  148.         Statement stmt=null; 
  149.         ResultSet rs=null; 
  150.         String sql="SELECT CLASSIFY_INFO_URL FROM CLASSIFY_INFO"; 
  151.         boolean result=false; 
  152.         try { 
  153.             con=DatabaseUtil.getConnection_Mysql_CrawlServer_Local();//获取Connection 
  154.             stmt=con.createStatement(); 
  155.             rs=stmt.executeQuery(sql); 
  156.             result=urlToRecoverUtilByResultSet(rs,"CLASSIFY_INFO_URL","D:/HeritrixRecover/",null); 
  157.             System.out.println("从结果集中导入URL到recover.gz文件:"+(result?"成功！":"失败！")); 
  158.              
  159.         } catch (SQLException e) { 
  160.             // TODO Auto-generated catch block 
  161.             e.printStackTrace(); 
  162.         }finally{ 
  163.             DatabaseUtil.closeConnection(con, stmt, rs);//关闭Connection、Statement、ResultSet 
  164.         }        
  165.     } 
  166. }