关闭

Larbin 爬虫工具介绍

741人阅读 评论(0) 收藏 举报

【1】 larbin的简介
      larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret 独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。

 

 

Larbin只是一个爬虫,也就是说larbin只抓取网页,至于如何parse的事情则由用户自己完成。另外,如何存储到数据库以及建立索引的事情 larbin也不提供。

latbin最初的设计也是依据设计简单但是高度可配置性的原则,因此我们可以看到,一个简单的larbin的爬虫可以每天获取500万的网页,实在是非常高效。

【2】Larbin的性能特征: 高效, 基本上一个小时爬 3个G 的网页。差不多20万的页面; url 解析: 200万-300万/小时

【3】larbin 的作用
 简单介绍一下 larbin 的功能和实际应用。
1. larbin 获取单个、确定网站的所有联结,甚至可以镜像一个网站。
2. larbin建立 url 列表群,例如针对所有的网页进行 url retrive后,进行xml的联结的获取。或者是 mp3 。
3. larbin 定制后可以作为搜索引擎的信息的来源(例如可以将抓取下来的网页每2000一组存放在一系列的目录结构里面)。

总归,larbin应当是一个被广大搜索引擎爱好者应当引起注意的一个产品,虽然其功能逐渐被 Nutch 所接受和替代,但是其在爬虫上的优美设计的确值得称道。


 
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:525213次
    • 积分:5567
    • 等级:
    • 排名:第4709名
    • 原创:112篇
    • 转载:125篇
    • 译文:1篇
    • 评论:42条
    文章分类
    最新评论