Larbin——一款c++编写的爬虫程序

原创 2012年03月31日 10:10:18
Larbin——一款c++编写的爬虫程序
2009-08-13 22:01
    今天我读了一篇名叫“开源网络爬虫程序(spider)一览“的文章,然后就在列表的末尾看到了这个程序"Larbin",由于它是唯一一个用c++写的,而在所有编程语言中我对于c++是最熟悉的,二话不说就开始找它的程序,打算自己配置运行一下,再看代码研究一下。
我在google 直接输入关键词"larbin",第一页就找到了项目网站
http://larbin.sourceforge.net/index-eng.html
网站上一对E文,但是对我来说最有用的只是download这个关键词。其他两个有用的是两个"how to use larbin"和 "how to custmize larbin"的链接。但是在一开始做配置的时候我觉得不需要看这两个。因为google 上输入关键词"larbin 安装"就出一大堆结果。
其中,有效的一篇文章在这里:
http://www.cgeek.org/?p=68
我在ubuntu中按着它说的做了之后,在make的时候竟然还是出错了。出错信息是fetch文件夹下的file.h有多余的“域“,按着提示把域去掉。再次make的时候就成功了。
还没开始进一步学习,今天就到这了。

http://hsmyy198712.iteye.com/blog/762698


larbin

Larbin is an HTTP Web crawler with an easy interface that runs under Linux. It can fetch more than 5 million pages a day on a standard PC (with a good network).

语言:C++


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

爬虫larbin的运行配置说明

larbin的配置说明:(运行命令自不用再说了)       Larbin的配置基本涉及到两个文件。Larbin.conf及Options.h 。larbin.conf进行一些简单的配置。修改此配置...

配置Larbin爬取图片

安装平台:Ubuntu 10.04.1 LTS (内核版本2.6.32-29-generic) Larbin下载:http://sourceforge.net/projects/larbin...

【转】搜索引擎/网络蜘蛛程序源代码

国外开发的相关程序1、Nutch官方网站 http://www.nutch.org/中文站点 http://www.nutchchina.com/最新版本:Nutch 0.7.2 ReleasedNu...

Larbin配置与使用

安装平台:Ubuntu 10.04.1 LTS(内核版本2.6.32-29-generic) Larbin下载:http://sourceforge.net/projects/larbin/file...

c++编写的爬虫程序

  • 2010-03-30 21:45
  • 2.86MB
  • 下载

web测试常用python代码——爬虫程序

#coding=utf-8 #爬虫程序——起点 ''' Created on 2012-4-18 @author: xxx ''' import urllib2 import Queue impo...

多线程C++爬虫程序

内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)