![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
文章平均质量分 74
江江梁
睡觉……
展开
-
HttpClient 教程 (五)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113249.html第五章 HTTP客户端服务5.1 HttpClient门面HttpClient接口代表了最重要的HTTP请求执行的契约。它没有在请求执行处理上强加限制或特殊细节,而在连接管理,状态管理,认证和处理重定向到具体实现上留下转载 2015-04-27 10:47:17 · 459 阅读 · 0 评论 -
Heritrix1.14源码分析(3) 修改配置文件order.xml加快你的抓取速度
转自:http://blog.csdn.net/jazywoo123/article/details/8223209Heritrix的order.xml分了很多组件,可以灵活的配置各个抓取参数。但很多人都关心如何使得抓取更快更久更多,这里首先从Heritrix自身着手吧,修改order.xml的一些参数其实也可以达到这一目的. 下面就列出各个参数、说明和理想值转载 2015-05-04 19:31:04 · 767 阅读 · 0 评论 -
Heritrix1.14源码分析(1) 包介绍
转自:http://blog.csdn.net/jazywoo123/article/details/8223198之前说过要分享下我的爬虫经验,但一直找不到突破口,现在才感觉写点东西真的很难,所以大家真的要感谢那些无私的前辈们,在网上留下的一篇篇可以指点迷津的文章。 想了很久,还是先从Heritrix的包开始说起,然后再说类,最后讲下如何加工Heritrix,也就是将其打造成自己转载 2015-05-04 19:27:53 · 665 阅读 · 0 评论 -
Heritrix1.14源码分析(10) Heritrix中的Http Status Code(Http状态码)
转自:http://blog.csdn.net/jazywoo123/article/details/8223234 以前在做Web开发的时候就接触过一些HttpStatus Code,比如404,500.后来接触Heritrix之后才知道HttpStatus Code竟然有如此之多。不一样的HttpStatus Code就代表不一样的Http状态,简单的如成功、失败、重定向等转载 2015-05-04 19:40:42 · 755 阅读 · 0 评论 -
Heritrix1.14源码分析(13) 如何让Heritrix不间断的抓取
转自:http://blog.csdn.net/jazywoo123/article/details/8223248近段时间在搞定Lucene的一些问题,所以Heritrix源码分析暂时告一段落。今天下午在群里有同学提到了Heritrix异常终止的问题以及让Heritrix不停的抓取(就是抓完一遍后载入种子继续抓取,目前他是写个定时器,定时检查Heritrix是否停止,如果停止转载 2015-05-04 19:42:58 · 540 阅读 · 0 评论 -
Heritrix3.0 的安装,使用
转自:http://blog.csdn.net/jazywoo123/article/details/82226421、下载heritrix3.0或heritrix3.1,解压。运行cmd,进入到bin目录下(如笔者的目录:cd D:\heritrix-3.1.0\bin)。运行命令:heritrix -a admin:admin ,这里冒号前面admin是用户名,后面是密转载 2015-05-04 18:53:05 · 1438 阅读 · 0 评论 -
Heritrix1.14源码分析(2) 配置文件order.xml介绍
转自:http://blog.csdn.net/jazywoo123/article/details/8223205order.xml是整个Heritrix的核心,里面的每个一个配置都关系到Heritrix的运行情况,没读源码之前我只能从有限的渠道去获知这些配置的运用.读完之后才知道Heritrix竟然有如此灵活的运用,如可以控制抓取速度,可以优化电脑性能,可以在某一次的抓取上转载 2015-05-04 19:31:48 · 1594 阅读 · 1 评论 -
Heritrix1.14源码分析(4)各个类说明
转自:http://blog.csdn.net/jazywoo123/article/details/8223214Heritrix的类的确很繁琐,往往继承了一层又一层,最多的继承好像有7层。下面就一个包一个包的说明每个类的作用,由于里面Heritrix组件分明,很多组件没用到的同时该组件的类我也没怎么接触,所以这里会忽略一部分,如果有知道的请补充,谢谢!如果对转载 2015-05-04 19:33:52 · 1139 阅读 · 0 评论 -
Heritrix1.14源码分析(5) 如何让Heritrix在Ecplise等IDE下编程启动
转自:http://blog.csdn.net/jazywoo123/article/details/8223218在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种:一种是通过tomcat或者JBOSS或者Jetty等Web容器,还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码,所以这里就介绍下它的编程启动方式吧....这里转载 2015-05-04 19:33:24 · 549 阅读 · 0 评论 -
Heritrix1.14源码分析(6) Heritrix总体介绍
转自:http://blog.csdn.net/jazywoo123/article/details/8223222 网上关于Heritrix的基本介绍有很多,这里就不再重复。我这里主要介绍下它的优缺点。然后我会介绍它的运作流程以及我会从流程中各个点结合源码来分别介绍.... Heritrix整体让人感觉有些复杂和繁琐,一个爬虫写成这样也真是成仙了。接触Her转载 2015-05-04 19:36:27 · 528 阅读 · 0 评论 -
Heritrix1.14源码分析(7) Heritrix的文件结构分析
转自:http://blog.csdn.net/jazywoo123/article/details/8223226每通过Heritrix运行一次抓取后,发现在该Job目录下就会有很多文件。这里说明下每个文件的作用,同时更主要介绍它的日志文件,因为我们可以通过日志文件发现Heritrix的抓取情况。首先贴个图: 以上就是Heritrix完成的文件结构,现在转载 2015-05-04 19:35:28 · 528 阅读 · 0 评论 -
Heritrix1.14源码分析(11) Heritrix中的URL--CandidateURI和CrawlURI以及如何增加自己的属性
转自:http://blog.csdn.net/jazywoo123/article/details/8223238Url是爬虫的核心,因为爬虫就是依赖URL一层一层的抓取下去,最后完成整个抓取。Heritrix中的URL比较特殊,有以下继承关系(由于不对继承关系作介绍,所以这里就不画图了): 1)org.archive.crawler.datamodel.C转载 2015-05-04 19:39:55 · 510 阅读 · 0 评论 -
Heritrix1.14源码分析(14)各种问题总结
转自:http://blog.csdn.net/jazywoo123/article/details/8223254 开博客以及建立Heritrix 群有一段时间了(这里谢谢大家的关注),这篇博客将整理这段时间所遇到的问题.同时由于自己从今年5月份开始就不怎么接触Heritrix,很多东西开始遗忘(不过里面思想没忘),同时目前的工作也没有必要接触Heritrix,所以不可能向之转载 2015-05-04 19:45:43 · 765 阅读 · 0 评论 -
Heritrix1.14源码分析(9) Heritrix的二次抓取以及如何让Heritrix抓取你不想抓取的URL
转自:http://blog.csdn.net/jazywoo123/article/details/8223231前面说过Heritrix可以在某个抓取基础上(这里假设为A)继续抓取,因为Heritrix对每一个URL都会有相应的日志处理,同时还有checkpoint(备份中心)。所以只要通过A上的日志就可以完全按照该基础A继续抓取,不会重复抓取任何A抓过的任何东西,也会继续转载 2015-05-04 19:37:47 · 774 阅读 · 0 评论 -
Heritrix1.14源码分析(8) Heritrix8个处理器(Processor)介绍
转自:http://blog.csdn.net/jazywoo123/article/details/8223228Heritrix采用多线程去抓取数据,每次运行基本都要经过以下8个处理器处理(种子URL、先决条件URL除外),如此形成一整个流程。下面就大概介绍下每个处理器的作用以及大概处理的步骤。以后分析源码的时候再细节分析...... 8个处理器都继承转载 2015-05-04 19:36:24 · 476 阅读 · 0 评论 -
常见HTTP状态码
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/09/03/2165266.html常见HTTP状态码200 OK301 Moved Permanently302 Found304 Not Modified307 Temporary Redirect400 Bad Request401 U转载 2015-04-27 10:50:19 · 309 阅读 · 0 评论 -
HtmlParser整体框架
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/27/2118904.htmlHtmlParser关键包org.htmlparser 定义了htmlparser的一些基础类,其中最为重要的是Parser。Parser是htmlParser的最核心的类。org.htmlpars转载 2015-04-27 15:27:47 · 446 阅读 · 0 评论 -
HTMLParser使用
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/27/2118937.htmlHTMLParser具有小巧,快速的优点,缺点是相关文档比较少(英文的也少),很多功能需要自己摸索。对于初学者还是要费一些功夫的,而一旦上手以后,会发现HTMLParser的结构设计很巧妙,非常实用,基本你的各种需求都可以满足。转载 2015-04-27 15:27:51 · 398 阅读 · 0 评论 -
HttpClient 教程 (二)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2112832.html第二章 连接管理HttpClient有一个对连接初始化和终止,还有在活动连接上I/O操作的完整控制。而连接操作的很多方面可以使用一些参数来控制。2.1 连接参数这些参数可以影响连接操作:'http.转载 2015-04-27 10:44:17 · 486 阅读 · 0 评论 -
HttpClient 教程 (一)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2112804.html前言超文本传输协议(HTTP)也许是当今互联网上使用的最重要的协议了。Web服务,有网络功能的设备和网络计算的发展,都持续扩展了HTTP协议的角色,超越了用户使用的Web浏览器范畴,同时,也增加了需要HTTP协议支持的应用程序的数转载 2015-04-27 10:40:51 · 640 阅读 · 0 评论 -
HttpClient 教程 (四)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113247.html第四章 HTTP认证HttpClient提供对由HTTP标准规范定义的认证模式的完全支持。HttpClient的认证框架可以扩展支持非标准的认证模式,比如NTLM和SPNEGO。4.1 用户凭证任何用户身份验证的过程都转载 2015-04-27 10:45:19 · 415 阅读 · 0 评论 -
HttpClient 教程 (六)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113251.html第六章 高级主题6.1 自定义客户端连接在特定条件下,也许需要来定制HTTP报文通过线路传递,越过了可能使用的HTTP参数来处理非标准不兼容行为的方式。比如,对于Web爬虫,它可能需要强制HttpClient接受格式错误的转载 2015-04-27 10:47:59 · 412 阅读 · 0 评论 -
HttpClient_4 用法 由HttpClient_3 升级到 HttpClient_4 必看
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113252.htmlHttpClient程序包是一个实现了 HTTP 协议的客户端编程工具包,要想熟练的掌握它,必须熟悉 HTTP协议。一个最简单的调用如下: import java.io.IOException;import o转载 2015-04-27 10:48:13 · 321 阅读 · 0 评论 -
HttpClient 教程 (三)
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/07/21/2113246.html第三章 HTTP状态管理原始的HTTP是被设计为无状态的,面向请求/响应的协议,没有特殊规定有状态的,贯穿一些逻辑相关的请求/响应交换的会话。由于HTTP协议变得越来越普及和受欢迎,越来越多的从前没有打算使用它的系统也开始为应用程序来使用转载 2015-04-27 10:45:30 · 443 阅读 · 0 评论 -
HTML转码码
转自:http://www.cnblogs.com/loveyakamoz/archive/2011/09/03/2164638.html本文列举出常用的HTML转码码,相信能够全部记住的没有几人吧。呵呵。反正我是记不住这么多啊。就知道最常用的几个。例如空格了,左箭头,右箭头等。 SYMBOLCODEENTITY NAME™转载 2015-04-27 10:50:39 · 929 阅读 · 0 评论 -
Berkeley DB Java Edition
转自:http://blog.csdn.net/jimmy1980/article/details/4966551一、 简介 Berkeley DB Java Edition (JE)是一个完全用JAVA写的,它适合于管理海量的,简单的数据。l 能够高效率的处理1到1百万条记录,制约JE数据库的往往是硬件系统,而不是JE本身。l 多线程支持,JE使用超时转载 2015-04-27 20:47:31 · 571 阅读 · 0 评论 -
Heritrix1.14源码分析(12) Heritrix的控制中心(大脑)CrawlController
转自:http://blog.csdn.net/jazywoo123/article/details/8223246CrawlController的确是Heritrix的大脑,在Heritrix中拥有无上的权利!可以控制Heritrix的启动、暂停、停止,也定时进行数据统计、数据汇报和文件管理。同时CrawlController也基本上贯穿整个Heritrix代码,和CrawlURI一转载 2015-05-04 19:42:46 · 846 阅读 · 0 评论