![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
heritrix
文章平均质量分 91
iteye_11763
这个作者很懒,什么都没留下…
展开
-
heritrix 如何解决简单的表单验证功能
目前我的heritrix遇到了很多信息需要表单验证,我看基本上中文的资料非常少,我从网上找了这些英文资料, 是解决在heritrix的使用过程中,如何解决简单的表单验证的功能!!! 链接如下: https://webarchive.jira.com/wiki/display/Heritrix/RFC2617+%28BASIC+and+DIGEST+Auth%29 后续我会...原创 2012-11-27 00:41:17 · 70 阅读 · 0 评论 -
搭建heritrix3.1【转载】
由于本人正在准备将heritrix1.14升级到3.1 ,觉得这篇文章挺有用的,于是就cp一下,记录下来,非本人所原创,下面是原创的文章: 网上已经有几篇Heritrix 1.14版本的Eclipse搭建的文章,说的比较详细。本人下载了Heritrix 3.1,该版本相对Heritrix 1.14版本变化已经较大,在研究Heritrix零星的几个文档以后终于把环境搭建成功了...原创 2012-11-27 01:42:33 · 137 阅读 · 0 评论 -
heritrix自定义爬虫
heritrix1.14.4 升级到3.1 ,发现改变还是很大的,原来的核心类org.archive.crawler.postprocessor.FrontierScheduler不存在了, org.archive.crawler.extractor.Extractor改变很大,增加了shouldProcess的方法, org.archive.modules.extractor.Lin...原创 2012-11-28 14:03:30 · 85 阅读 · 0 评论 -
heritrix3.1 TLD list unavailable
今天按照上面转载的文档搭建了一下heritirx3.1的环境,基本上还是成功的,可以成功的运行,但是在运行的时候报了一个错误,错误如下: 严重: TLD list unavailable java.lang.NullPointerException at java.io.Reader.<init>(Reader.java:61) at java.io.Input...2012-11-29 13:21:15 · 128 阅读 · 0 评论