heritrix有多个扩展点,这里我扩展FrontierScheduler,它是一个PostProcessor,它的作用是在Extractor 中所分析的链接加到Frontier中。
FrontierScheduler在org.archive.crawler.postprocessor包下面,我写一个类MyFrontierScheduler来继承FrontierScheduler类,,自己写
的MyFrontierScheduler可以重新放在一个新的包里面,也可以放在父类(FrontierScheduler)的包里面,然后重写FrontierScheduler的
schedule()方法。即可简单的实现自己定制的页面抓取逻辑。
父类的schedule()方法原来是是这样的:
protected void schedule(CandidateURI caUri) {
getController().getFrontier().schedule(caUri);
}
我简单的扩展了schedule(),变为下面这样的:
<pre name="code" class="java">protected void schedule(CandidateURI caUri)
{
String url=caUri.toString();
url = url.toLowerCase();
//設置為只抓取news.baidu.com開頭的uri
if(url.startsWith("new.baidu.com"))
{
getController().getFrontier().schedule(caUri);
}
}
或者这样的:
<pre name="code" class="java">protected void schedule(CandidateURI caUri)
{
String uri = caUri.toString();
//设置抓取规则:URI中包含qq的抓取
if(!uri.contains("qq"))
{
System.out.println(uri);//控制台打印输出
getController().getFrontier().schedule(caUri);
}
}
主要就是正则表达式的应用!!!