![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Heritrix
sc736031305
这个作者很懒,什么都没留下…
展开
-
Heritrix1.14.4环境搭建
Heritrix是一个基于Java的开源的具有高扩展性高灵活性的Web爬虫开源项目。 Heritrix的几大亮点如下: 1.开源,如果你想了解爬虫相关知识,阅读Heritrix源码是不二之选。 2.抓取性能高,配置灵活 3.扩展性很好,便于进行二次开发 不过Heritrix让我唯一遗憾的是不支持分布式抓取,不过仍然不能否定Heritri...2015-08-20 09:11:09 · 111 阅读 · 0 评论 -
Heritrix1.14.4 Web后台使用简介
启动Heritrix后,访问http://localhost:6789就可以打开Heritrix的登录界面,登录后即进入了Heritrix Web后台的主页: console: Heritrix的控制台,会显示Heritrix的抓取任务和分配给Heritrix的Heap使用情况 Jobs:Heritrix的抓取任务界面,比如创建抓取任务,已挂起的任务,已完成的任务统计 ...2015-08-20 11:35:49 · 108 阅读 · 0 评论 -
Eclipse下运行启动Heritrix1.14.4
前面我们知道了如何通过执行Heritrix官方提供的jar包去启动Heritrix,庆幸的是,Heritrix是完全开源的,所以我们可以将Heritrix的源码直接导入Eclipse去运行它。 首先解压heritrix-1.14.4-src.zip到任意盘符,这里我直接解压到桌面,解压后你会看到如图的目录结构: src下毫无疑问是源码文件,lib是Heritrix依赖的jar包。Testdat...2015-08-31 20:01:36 · 119 阅读 · 0 评论