![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
虎了吧唧的银
这个作者很懒,什么都没留下…
展开
-
larbin的编译 运行+三个配置文件阅读
larbin-2.6.3.tar.gz 官网地址:http://larbin.sourceforge.net/index-eng.html 首先解压安装包 tar -xvzf larbin-2.6.3.tar.gz 安装gcc,g++,xutils-dev 命令: sudo apt-get install 然后修改 ./adns/internal.h 将其中的569行-571行注释掉转载 2012-11-12 10:18:47 · 1474 阅读 · 0 评论 -
开源爬虫Labin,Nutch,Neritrix介绍和对比
从网上找了一些开源spider的相关资料,整理在下面: ----------------------------------------------------------------------------------- ************** Larbin 开发语言:C++ http://larbin.sourceforge.net/index-eng.html larbin转载 2012-11-12 10:24:15 · 808 阅读 · 0 评论 -
爬虫larbin主函数说明
int main (int argc, char *argv[]) { global glob(argc, argv); //创建一个global对象 亦即是初始化所要使用到的所有变量及初始配置。这里包括对larbin.conf配置文件的解析 //解析时将取得的起始url放入global::URLsPriority 或者global::URLsDisk 中以待爬取 #ifdef PROF转载 2012-11-12 10:21:52 · 581 阅读 · 0 评论