使用自己的PostProcesser筛选URL

 heritrix如果不对链接做筛选的话后期工作是无法进行的。

    heritrix有多个扩展点，这里我扩展FrontierSchedule,它是一个PostProcessor，它的作用是在Extractor 中所分析的

链接加到Frontier中。我写了CarFrontirer这个继承了FrontierSchedule的类对本项目的链接进行扩展：

Code:

1. package userP;  
2.   
3. import java.util.regex.Matcher;  
4. import java.util.regex.Pattern;  
5.   
6. import org.archive.crawler.datamodel.CandidateURI;  
7. import org.archive.crawler.postprocessor.FrontierScheduler;  
8.   
9. public class CarFrontier extends FrontierScheduler {  
10.     private static final long serialVersionUID = 1L;  
11.     // Pattern p =  
12.     // Pattern.compile("http://price.pcauto.com.cn/m//d+/|robots.txt|dns:*");  
13.     Pattern p = Pattern.compile("http://price.pcauto.com.cn/m//d+/");  
14.   
15.     public CarFrontier(String name) {  
16.         super(name);  
17.     }  
18.   
19.     protected void schedule(CandidateURI caUri) {  
20.         String url = caUri.toString();  
21.         Matcher m = p.matcher(url);  
22.         if (m.matches() || url.indexOf("robots.txt") != -1  
23.                 || url.indexOf("dns:") != -1) {  
24.             this.getController().getFrontier().schedule(caUri);  
25.         } else {  
26.             return;  
27.         }  
28.     }  
29.   
30. }  

扩展了FrontierSchedule后，要在/conf/modules/Processor.options中加入刚才写CarFrontier这个类，并在WEB控制台Model中的post processors中选择CarFrontier，这样就可以使用了。