heritrix

Heritrix是一个爬虫框架，可加如入一些可互换的组件。 它的执行是递归进行的，主要有以下几步： 1。在预定的URI中选择一个。 2。获取URI 3。分析，归档结果 4。选择已经发现的感兴趣的URI。加入预定队列。 5。标记已经处理过的URI

　　是IA的开放源代码，可扩展的，基于整个Web的，归档网络爬虫工程

　　Heritrix工程始于2003年初，IA的目的是开发一个特殊的爬虫，对网上的

　　资源进行归档，建立网络数字图书馆，在过去的6年里，IA已经建立了400TB的数据。

　　最新版本:heritrix-1.15.4

　　IA期望他们的crawler包含以下几种：

　　宽带爬虫：能够以更高的带宽去站点爬。

　　主题爬虫：集中于被选择的问题。

　　持续爬虫：不仅仅爬更当前的网页还负责爬日后更新的网页。

　　实验爬虫：对爬虫技术进行实验，以决定该爬什么，以及对不同协议的爬虫 爬行结果进行分析的。

　　Heritrix的主页是http://crawler.archive.org

　　Heritrix是一个爬虫框架，可加如入一些可互换的组件。

　　它的执行是递归进行的，主要有以下几步：

　　1。在预定的URI中选择一个。

　　2。获取URI

　　3。分析，归档结果

　　4。选择已经发现的感兴趣的URI。加入预定队列。

　　5。标记已经处理过的URI

 

 

转自:http://baike.baidu.com/view/1571189.htm?fr=ala0_1_1