Heritrix 配置集成包下载

鉴于以前写的一篇BLOG:http://blog.csdn.net/whuslei/article/details/5788990很多人都没有成功。我将配置好的文件附上。
如果需要按照以上这篇文章安装,其源zip文件下载地址为:

http://sourceforge.net/projects/archive-crawler/files/archive-crawler%20%28heritrix%201.x%29/

如果觉得麻烦,可以直接下载下面这个我已经配置好的工程包

第一步,将下载后的.zip文件解压,将解压得到的Heririx文件夹剪切到你的workspace中。

第二步,新建Java Project,注意Project的名字一定要和工程名相同,本例中是Heritrix(你可以看到输入"Heritrix"后很多选项都灰化了),点击finish。

第三步,这样就把工程导入到了Eclipse中。

有人会问,为什么不直接import--General--Existing Projects into Workspace导入到eclipse中。原因很简单,我上传的那个包中不包含.classpath和.project这两个隐藏文件,所以eclipse根本无法识别。

第四步,导入后会看到工程下有很多红色的叉!不要急,是因为还没有导入jar包
右键点击工程---Build Path----Configure Build Path,切换到Libraries栏,选择"Add Extern JARS....",然后browser到刚解压文件夹Heritrix目录下的lib目录。按住Ctrl+A,然后点ok,全部加入。

最后,在org.archive.crawler包下右键点击运行Heritrix.java,执行!还有什么问题请留言!
下载地址:
(1)
http://u.163.com/DI30vu提取码:o0ukqour
(2)http://download.csdn.net/source/3425244

Heritrix是一个开源,可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。 Heritrix是一个爬虫框架,其组织结构如图2.1所示,含了整个组件和抓取流程: Heritrix采用的是模块化的设计,各个模块由一个控制器类(CrawlController类)来协调,控制器是整体的核心。控制器结构图如图2.2所示:   图2.2 CrawlController类结构图 CrawlController类是整个爬虫的总控制者,控制整个抓取工作的起点,决定整个抓取任务的开始和结束。CrawlController从Frontier获取URL,传递给线程池(ToePool)中的ToeThread处理。 Frontier(边界控制器)主要确定下一个将被处理的URL,负责访问的均衡处理,避免对某一Web服务器造成太大的压力。Frontier保存着爬虫的状态,括已经找到的URI、正在处理中的URI和已经处理过的URI。 Heritrix是按多线程方式抓取的爬虫,主线程把任务分配给Teo线程(处理线程),每个Teo线程每次处理一个URL。Teo线程对每个URL执行一遍URL处理器链。URL处理器链括如下5个处理步骤。整个流程都在图2.1中。 (1)预取链:主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。 (2)提取链:主要是下载网页,进行DNS转换,填写请求和响应表单。 (3)抽取链:当提取完成时,抽取感兴趣的HTML和JavaScript,通常那里有新的要抓取的URL。 (4)写链:存储抓取结果,可以在这一步直接做全文索引。Heritrix提供了用ARC格式保存下载结果的ARCWriterProcessor实现。 (5)提交链:做和此URL相关操作的最后处理。检查哪些新提取出的URL在抓取范围内,然后把这些URL提交给Frontier。另外还会更新DNS缓存信息。 服务器缓存(Server cache)存放服务器的持久信息,能够被爬行部件随时查到,括被抓取的Web服务器信息,例如DNS查询结果,也就是IP地址。 标签:Heritrix
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值