sorry,对于前面发表的《MyEclipse下配置Heritrix的开发环境》,这个配置最初我只是检验到在MyEclipse可以运行,但是后来在 WebUI建立JOB,配置简单任务运行时,在进入module配置页,发现所有的配置可以删除,移动,但是不可以添加和修改,没有可选的下拉框。
最后网上查找原因是:配置文件找不到,应该在classpath标签页添加配置文件的路径,但是我最后没搞出来,最后想的办法是:
1、在MyEclipse下先把自己的类建好。如在src目录下建一个包my/postprocessor创建下面这个类:
package my.postprocessor; import java.util.logging.Logger; import org.archive.crawler.datamodel.CandidateURI; public class FrontierSchedulerForPconlineMobile extends FrontierScheduler { protected void schedule(CandidateURI caUri){ |
2、然后解压heritrix-1.12.1下的heritrix-1.12.1.jar,如:c:/temp/
3、把myeclipse中heritrix项目下bin目录下的my整个文件夹拷贝到解压后的目录下如:c:/temp/
4、修改modules文件夹下的Processor.options文件,添加如下代码:
...
org.archive.crawler.writer.ExperimentalV10WARCWriterProcessor|V10WARCArchiver
org.archive.crawler.writer.ExperimentalWARCWriterProcessor|WARCArchiver
org.archive.crawler.writer.Kw3WriterProcessor|Kw3Archiver
org.archive.crawler.writer.MirrorWriterProcessor|MirrorWriter
org.archive.crawler.postprocessor.CrawlStateUpdater|Updater
org.archive.crawler.postprocessor.LinksScoper|LinksScoper
org.archive.crawler.postprocessor.SupplementaryLinksScoper|SupplementaryLinksScoper
org.archive.crawler.postprocessor.FrontierScheduler|FrontierScheduler
my.postprocessor.FrontierSchedulerForPconlineMobile|FrontierSchedulerForPconlineMobile
org.archive.crawler.postprocessor.LowDiskPauseProcessor|LowDiskPause
org.archive.crawler.postprocessor.WaitEvaluator|WaitEvaluator
org.archive.crawler.postprocessor.ContentBasedWaitEvaluator|ContentBasedWaitEvaluator
org.archive.crawler.postprocessor.TextWaitEvaluator|TextWaitEvaluator
org.archive.crawler.postprocessor.ImageWaitEvaluator|ImageWaitEvaluator
...
|
注意添加位置。
然后重新压缩。再替换掉原来的那个,后面的配置可根据另外一篇文章“Hertitrix配置篇"。
昨夜配好,今天可以抓取,不过总感觉这不是很佳的方法,如果有谁知道如何在IDE环境下配置,请告知,在此先谢了!