Larbin——一款c++编写的爬虫程序

标签: c++网络爬虫googledownloadinterfacenetwork
1926人阅读 评论(0) 收藏 举报
分类:
Larbin——一款c++编写的爬虫程序
2009-08-13 22:01
    今天我读了一篇名叫“开源网络爬虫程序(spider)一览“的文章,然后就在列表的末尾看到了这个程序"Larbin",由于它是唯一一个用c++写的,而在所有编程语言中我对于c++是最熟悉的,二话不说就开始找它的程序,打算自己配置运行一下,再看代码研究一下。
我在google 直接输入关键词"larbin",第一页就找到了项目网站
http://larbin.sourceforge.net/index-eng.html
网站上一对E文,但是对我来说最有用的只是download这个关键词。其他两个有用的是两个"how to use larbin"和 "how to custmize larbin"的链接。但是在一开始做配置的时候我觉得不需要看这两个。因为google 上输入关键词"larbin 安装"就出一大堆结果。
其中,有效的一篇文章在这里:
http://www.cgeek.org/?p=68
我在ubuntu中按着它说的做了之后,在make的时候竟然还是出错了。出错信息是fetch文件夹下的file.h有多余的“域“,按着提示把域去掉。再次make的时候就成功了。
还没开始进一步学习,今天就到这了。

http://hsmyy198712.iteye.com/blog/762698


larbin

Larbin is an HTTP Web crawler with an easy interface that runs under Linux. It can fetch more than 5 million pages a day on a standard PC (with a good network).

语言:C++


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2770022次
    • 积分:29838
    • 等级:
    • 排名:第171名
    • 原创:521篇
    • 转载:336篇
    • 译文:0篇
    • 评论:429条
    最新评论