![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Heritrix
liuxinglanyue
这个作者很懒,什么都没留下…
展开
-
Heritrix源码分析(一) 包介绍
http://guoyunsky.iteye.com/blog/613249 之前说过要分享下我的爬虫经验,但一直找不到突破口,现在才感觉写点东西真的很难,所以大家真的要感谢那些无私的前辈们,在网上留下的一篇篇可以指点迷津的文章。 想了很久,还是先从Heritrix的包开始说起,然后再说类,最后讲下如何加工Heritrix,也就是将其打造成自己想要的爬虫,这里补充下,我用的版本是1.14....原创 2010-11-21 10:42:01 · 190 阅读 · 0 评论 -
Heritrix使用的初步总结
转:http://jason823.iteye.com/blog/84206一、框架介绍 公司最近项目要用到全文检索,检索对象是一些网站的网页内容,要使用到网络爬虫工具。 目前技术选型对象主要有两个:Heritrix 和 Nutch。二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都...原创 2010-11-21 12:09:37 · 77 阅读 · 0 评论 -
Heritrix源码分析(十五) 各种问题总结
http://guoyunsky.iteye.com/blog/802721 开博客以及建立Heritrix 群有一段时间了(这里谢谢大家的关注),这篇博客将整理这段时间所遇到的问题.同时由于自己从今年5月份开始就不怎么接触Heritrix,很多东西开始遗忘(不过里面思想没忘),同时目前的工作也没有必要接触Heritrix,所以不可能向之前写博客那样从...原创 2010-11-21 11:11:16 · 115 阅读 · 0 评论 -
Heritrix源码分析(十四) 如何让Heritrix不间断的抓取
转:http://guoyunsky.iteye.com/blog/663370 近段时间在搞定Lucene的一些问题,所以Heritrix源码分析暂时告一段落。今天下午在群里有同学提到了Heritrix异常终止的问题以及让Heritrix不停的抓取(就是抓完一遍后载入种子继续抓取,目前他是写个定时器,定时检查Heritrix是否停止,如果停止了则重新初始化Heritrix,让Heri...原创 2010-11-21 11:10:12 · 62 阅读 · 0 评论 -
Heritrix源码分析(十三) Heritrix的控制中心(大脑)CrawlController(二)
http://guoyunsky.iteye.com/blog/650744 上一篇博客主要介绍了CrawlController的各个属性,博客地址:http://guoyunsky.iteye.com/blog/650744 ,以及三个特殊的属性.这里就介绍它的相关方法,首先从初始化开始介绍,主要请看代码以及注释: 1.Heritrix的初始化:...原创 2010-11-21 11:07:00 · 92 阅读 · 0 评论 -
Heritrix源码分析(十二) Heritrix的控制中心(大脑)CrawlController(一)
http://guoyunsky.iteye.com/blog/650694 欢迎加入Heritrix群(QQ):10447185 CrawlController的确是Heritrix的大脑,在Heritrix中拥有无上的权利!可以控制Heritrix的启动、暂停、停止,也定时进行数据统计、数据汇报和文件管理。同时CrawlController也基本上...原创 2010-11-21 11:05:51 · 112 阅读 · 0 评论 -
Heritrix源码分析(十一) Heritrix中的URL--CandidateURI和CrawlURI以及如何增加自己的属性...
http://guoyunsky.iteye.com/blog/649889 Url是爬虫的核心,因为爬虫就是依赖URL一层一层的抓取下去,最后完成整个抓取。Heritrix中的URL比较特殊,有以下继承关系(由于不对继承关系作介绍,所以这里就不画图了): 1)org.archive.crawler.datamodel.CrawlURI——>...原创 2010-11-21 11:04:14 · 101 阅读 · 0 评论 -
Heritrix源码分析(十) Heritrix中的Http Status Code(Http状态码)
http://guoyunsky.iteye.com/blog/649737 以前在做Web开发的时候就接触过一些HttpStatus Code,比如404,500.后来接触Heritrix之后才知道HttpStatus Code竟然有如此之多。不一样的HttpStatus Code就代表不一样的Http状态,简单的如成功、失败、重定向等。Heritrix自己也根据自己的需...原创 2010-11-21 11:00:09 · 112 阅读 · 0 评论 -
Heritrix源码分析(九) Heritrix的二次抓取以及如何让Heritrix抓取你不想抓取的URL
http://guoyunsky.iteye.com/blog/644396 前面说过Heritrix可以在某个抓取基础上(这里假设为A)继续抓取,因为Heritrix对每一个URL都会有相应的日志处理,同时还有checkpoint(备份中心)。所以只要通过A上的日志就可以完全按照该基础A继续抓取,不会重复抓取任何A抓过的任何东西,也会继续抓取A没有抓过的URL。做到这个有...原创 2010-11-21 10:59:35 · 149 阅读 · 0 评论 -
Heritrix源码分析(八) Heritrix8个处理器(Processor)介绍
http://guoyunsky.iteye.com/blog/643367 Heritrix采用多线程去抓取数据,每次运行基本都要经过以下8个处理器处理(种子URL、先决条件URL除外),如此形成一整个流程。下面就大概介绍下每个处理器的作用以及大概处理的步骤。以后分析源码的时候再细节分析...... 8个处理器都继承org.archive.cr...原创 2010-11-21 10:58:31 · 133 阅读 · 0 评论 -
Heritrix源码分析(七) Heritrix总体介绍
http://guoyunsky.iteye.com/blog/642794 网上关于Heritrix的基本介绍有很多,这里就不再重复。我这里主要介绍下它的优缺点。然后我会介绍它的运作流程以及我会从流程中各个点结合源码来分别介绍.... Heritrix整体让人感觉有些复杂和繁琐,一个爬虫写成这样也真是成仙了。接触Heritrix有1年半了,大概花了2个月的时间...原创 2010-11-21 10:57:51 · 173 阅读 · 0 评论 -
Heritrix源码分析(六) Heritrix的文件结构分析
http://guoyunsky.iteye.com/blog/642618 每通过Heritrix运行一次抓取后,发现在该Job目录下就会有很多文件。这里说明下每个文件的作用,同时更主要介绍它的日志文件,因为我们可以通过日志文件发现Heritrix的抓取情况。首先贴个图: 以上就是Heritrix完成的文件结构,现在一一说明 序号...原创 2010-11-21 10:57:04 · 136 阅读 · 0 评论 -
Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动
http://guoyunsky.iteye.com/blog/642550 在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种:一种是通过tomcat或者JBOSS或者Jetty等Web容器,还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码,所以这里就介绍下它的编程启动方式吧....这里贴上示例代码以及注释:...原创 2010-11-21 10:56:25 · 62 阅读 · 0 评论 -
Heritrix源码分析(四) 各个类说明(二)
http://guoyunsky.iteye.com/blog/632191 9.org.archive.crawler.fetcher序号类说明1FetchDNS获取DNS数据,如IP2FetchFTP获取FTP数据3FetchHTTP获取HTTP数据4HeritrixHttpMethodRe...原创 2010-11-21 10:55:25 · 114 阅读 · 0 评论 -
Heritrix源码分析(四) 各个类说明(一)
http://guoyunsky.iteye.com/blog/630347 Heritrix的类的确很繁琐,往往继承了一层又一层,最多的继承好像有7层。下面就一个包一个包的说明每个类的作用,由于里面Heritrix组件分明,很多组件没用到的同时该组件的类我也没怎么接触,所以这里会忽略一部分,如果有知道的请补充,谢谢!如果对包还有不熟悉的,可以查看我前面的文章,这里也给...原创 2010-11-21 10:54:44 · 121 阅读 · 0 评论 -
Heritrix源码分析(三) 修改配置文件order.xml加快你的抓取速度
http://guoyunsky.iteye.com/blog/629891 Heritrix的order.xml分了很多组件,可以灵活的配置各个抓取参数。但很多人都关心如何使得抓取更快更久更多,这里首先从Heritrix自身着手吧,修改order.xml的一些参数其实也可以达到这一目的. 下面就列出各个参数、说明和理想值 序号配置名...原创 2010-11-21 10:53:11 · 103 阅读 · 0 评论 -
Heritrix源码分析(二) 配置文件order.xml介绍
http://guoyunsky.iteye.com/blog/613412 order.xml是整个Heritrix的核心,里面的每个一个配置都关系到Heritrix的运行情况,没读源码之前我只能从有限的渠道去获知这些配置的运用.读完之后才知道Heritrix竟然有如此灵活的运用,如可以控制抓取速度,可以优化电脑性能,可以在某一次的抓取上继续抓取.当然整个ord...原创 2010-11-21 10:43:04 · 172 阅读 · 0 评论 -
网络爬虫heritrix
前段时间看了下关于网络爬虫的知识,其中的heritrix是爬虫的优秀代表。heritrix是java的一个开源的可扩展的"爬虫"框架。它可以对互联网上的相应网页进行抓取存档。而搜索引擎丰富数据库的建立,正是利用网络爬虫的抓取。而且heritrix对构建垂直搜索引擎提供了可靠的大量数据。 heritrix的运行有两种。一是可以在cmd环境下配置好jar包的路径和环境变量,二是在Eclip...原创 2010-12-04 20:41:16 · 123 阅读 · 0 评论