ubuntu下编译、运行larbin

   larbin是一个法国人写的网络爬虫,在一台普通pc机上,只要带宽足够,可以一天爬500万网页。下面简单介绍在Ubuntu下的编译运行。

    通过新立得或者命令行(sudo apt-get install softname)安装gcc、g++、make、xutils-dev。

 

   注释掉adns下internal.h的569-571行。

 

    下载larbin(http://larbin.sourceforge.net/index-eng.html),解压缩后进入该目录执行

  

   ./configure

   make

  通过./larbin执行。

 

  默认情况下larbin不执行任何输出,可通过修改larbin.conf和option.h修改配置参数,部分参数亦可通过修改types.h文件。

 

 修改option.h和types.h文件需要重新编译。

 另:我通过Cygwin在windows上成功编译了larbin,虽然可以成功运行但是却不抓网页,初步判断是因为laibin所使用的adns异步DNS解析库不能解析,不知道是Cygwin的问题还是windows需要什么特别的设置~~~~~

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值