扩展 FrontierScheduler 来抓取特定网站内容
FrontierScheduler 是 org.archive.crawler.postprocessor 包中的一个类,它的作用是将在 Extractor 中所分析得出的链接加入到 Frontier 中,以待继续处理。在该类的 innerProcess(CrawlURI) 函数中,首先检查当前链接队列中是否有一些属于高优先级的链接。如果有,则立刻转走进行处理;如果没有,则对所有的链接进行遍历,然后调用 Frontier 中的 schedule() 方法加入队列进行处理。
下面以抓取时光网为例:
package my.processor;
import java.util.logging.Logger;
import org.archive.crawler.datamodel.CandidateURI;
import org.archive.crawler.postprocessor.FrontierScheduler;
public class FrontierSchedulerForMtime extends FrontierScheduler {
private static final long serialVersionUID = 1L;
private static Logger LOGGER = Logger
.getLogger(FrontierSchedulerForMtime.class.getName());
public FrontierSchedulerForMtime(String name) {
super(name);
// TODO Auto-generated constructor stub
}
protected void schedule(CandidateURI caUri){
String uri = caUri.toString();
//只抓取包含"mtime.com"的URI
if(uri.contains("mtime")){
System.out.println(uri);
getController().getFrontier().schedule(caUri);
}
else
{
return;
}
}
}
使用web管理界面设置
新建一个JOB,对照用户说明和每个设置项的说明设置相应的模块,对于抓取特定页面的任务关键点有:填写好种子地址,确保通过种子地址可以分析到你想要的页面,这里可以放入多个种子,一行一个。
模块选择中,crawl scope选择org.archive.crawler.deciderules.DecidingScope,Extractors Processors 根据自己要求选择:org.archive.crawler.extractor.ExtractorHTTP首先要选择且放在首位,org.archive.crawler.extractor.ExtractorHTML也为必需,其他的可以全部移除,Writers Processors :如果是要保存为arc文档格式的选择ARCWriterProcessor,如果直接保存镜像文件的选择MirrorWriterProcessor,具体的保存地址在具体的设置里会有,也可以同时选择几种文件保存方式,heritrix会同时完成,其它的设置默认即可。
在子模块部分decide-rules 加入MatchesListRegExpDecideRule,其它默认。 在具体设置里需要注意的是:seeds-as-surt-prefixes设为false,MatchesListRegExpDecideRule的regexp-list主要设置需要抓取页面的特定格式,可以使用正则表达式,其中.*匹配多个字符,(如果对正则表达式不熟悉可以在http://localhost:8080/help/regexpr.jsp页面进行测试) max-hops的值表示从种子地址开始抓取的深度,这个需要根据实际情况修改,默认值为20.