目前网络上开源的网络爬虫以及一些简介和比较

转载 2016年06月01日 18:15:24


目前网络上有不少开源的网络爬虫可供我们使用,爬虫里面做的最好的肯定是google ,不过google公布的蜘蛛是很早的一个版本,下面是几种开源的网络爬虫的简单对比表:

下面我们再对Nutch、Larbin、Heritrix这三个爬虫进行更细致的比较:

Nutch

开发语言:Java

http://lucene.apache.org/nutch/

简介:

Apache的子项目之一,属于Lucene项目下的子项目。

Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化,而且很容易集成到自己的应用之中。

 

Larbin

开发语言:C++

http://larbin.sourceforge.net/index-eng.html

简介

  larbin是一种开源的网络爬虫,由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。

  Larbin只是一个爬虫,也就是说larbin只抓取网页,至于如何parse的事情则由用户自己完成。另外,如何存储到数据库以及建立索引的事情 larbin也不提供。

  latbin最初的设计也是依据设计简单但是高度可配置性的原则,因此我们可以看到,一个简单的larbin的爬虫可以每天获取500万的网页,非常高效。

Heritrix

开发语言:Java

http://crawler.archive.org/

简介

与Nutch比较

和 Nutch。二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地,使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成本地文件及相应的日志信息等。

Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整,允许弹性的定义要获取的URL。

二者的差异:

Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌

Nutch 可以修剪内容,或者对内容格式进行转换。

Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。

Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。

Nutch 的定制能力不够强,不过现在已经有了一定改进。Heritrix 可控制的参数更多。

Heritrix提供的功能没有nutch多,有点整站下载的味道。既没有索引又没有解析,甚至对于重复爬取URL都处理不是很好。

Heritrix的功能强大 但是配置起来却有点麻烦。

目前网络上开源的网络爬虫以及一些简介和比较

目前网络上有不少开源的网络爬虫可供我们使用,爬虫里面做的最好的肯定是google ,不过google公布的蜘蛛是很早的一个版本,下面是几种开源的网络爬虫的简单对比表: 下面我们再对Nutch、L...
  • u011089523
  • u011089523
  • 2016年05月02日 09:52
  • 1355

开源网络爬虫介绍及其比较

开源网络爬虫介绍及其比较 Nutch 开发语言:Java http://lucene.apache.org/nutch/ 简介: Apache的子项目之一,属于Lucen...
  • Weiguang_123
  • Weiguang_123
  • 2014年02月22日 18:47
  • 1607

调研目前主要的开源网络爬虫,并且说明各自的特点、局限性以及相互之间的区别

PB10210016徐波-第一次作业 Chp.2 Web Crawling 调研目前主要的开源网络爬虫,并且说明各自的特点、局限性以及相互之间的区别。提交方式:word打印稿。 答:网络蜘蛛(W...
  • bob601450868
  • bob601450868
  • 2013年10月21日 20:45
  • 2031

网络舆情监控系统爬虫子系统开发心得与不足

原文出处: http://www.yshjava.cn/post/330.html 不知不觉,2011已经过去了,这一年中的大多时间,都花在了舆情监控系统的探索和研发上。尤其是作为舆情监控系统的...
  • hblfyla
  • hblfyla
  • 2016年08月01日 16:29
  • 3209

网络爬虫——原理简介

全面剖析网络爬虫(笔记)抓取网页深入理解URLURI :Universal Resource Identifier(通用资源标识符)的缩写,Web 上每种可用的资源,如HTML文档、图像、视频片段、程...
  • Jeff_Liu_Sky
  • Jeff_Liu_Sky
  • 2016年08月17日 21:54
  • 3713

几种开源网络爬虫的简单比较

爬虫里面做的最好的肯定是google ,不过google公布的蜘蛛是很早的一个版本,下面是几种开源的网络爬虫的简单对比表: 还有其他的一些比如Ubicrawler、FAST Crawle...
  • u012270753
  • u012270753
  • 2013年12月11日 22:10
  • 2681

开源C/C++网络库比较:ACE、livevent和Boost

ACE是一个大型的中间件产品,代码20万行左右,过于宏大,一堆的设计模式,架构了一层又一层,使用的时候, 要根据情况,看你从那一层来进行使用。支持跨平台。 Boost的ASIO是一个异步IO库,...
  • debugconsole
  • debugconsole
  • 2015年11月23日 23:28
  • 953

网络爬虫研发重点介绍

一、网络爬虫的一般作法 1.1 基于Socket通信编写爬虫 1.2 基于HttpURLConnection类编写爬虫 1.3 基于apache的HttpClient包编写爬虫 1.4 基于pha...
  • kl28978113
  • kl28978113
  • 2016年09月09日 18:40
  • 1319

硬件开源、全球最顶级的嵌入式开发板BeagleBoard –xM

TI旗下的BeagleBoard团队设计的BeagleBoard –xM是全球第一个硬件开源开发板,也是当前全球最强大的嵌入式开发板。其采用TI于2010年10月推出的DM3730作为核心处理器,该处...
  • bailang9757
  • bailang9757
  • 2014年01月11日 23:02
  • 1614

网络爬虫介绍及数据采集

收索系统包括三大模块:数据采集模块、页面清洗模块、数据库模块 Heritrix和Nutch,二者均为开源框架(网络爬虫技术框架),,Heritrix是SourceForge的开源产品,Nutch...
  • wszsj
  • wszsj
  • 2015年11月10日 19:27
  • 980
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:目前网络上开源的网络爬虫以及一些简介和比较
举报原因:
原因补充:

(最多只允许输入30个字)