爬虫larbin的运行配置说明

标签: urlweb服务outputcookies存储office
2069人阅读 评论(1) 收藏 举报
分类:

larbin的配置说明:(运行命令自不用再说了)

      Larbin的配置基本涉及到两个文件。Larbin.conf及Options.h 。larbin.conf进行一些简单的配置。修改此配置文件不需要重新编译larbin。但要修改options.h则需要重新编译。这个文件是你要larbin怎么做的设置文件非常重要。修改要重新编译生成新的larbin再运行。

    1.larbin.conf

         UserAgent : 客服端标识 当对其他网站抓取时被抓取的网站知道是什么抓取的。

        httpPort : 用于运行的http web服务器的端口号 (larbin运行时访问http://localhost:8081/ 设置为:httpPort 8081). 如果将端口号设为0 则不会启动web服务器。这允许larbin不作为单线程运行。通过这个查看爬行结果。

        inputPort :你要爬去的urls的端口。如果注释掉或设为0 则可能没有任何输入。如果通过手动或者程序提交爬去的urls则必须连接到计算机的TCP端口1976。即设为: inputPort 1076。可以添加爬行的url。

        pagesConnexions : 并行爬取网页的数量。根据自己的网络速度调解。如果超时的太多则要降低这个并行数量。

        dnsConnexions : 并行dns域名解析的数量。建议为10 。

        depthInSite :对一个站点爬取得深度 。

        noExternalLinks :不允许访问外部连接。如果设置则只可访问同一HOST的连接。

        waitDuration :访问同一服务器的时间间隔。不可低于30s。建议60s,也不会慢。

        proxy :是否用代理连接,是则要设置. 可以不用代理就不要用代理连接,用代理很慢,也可能不适合于代理特别是带有缓存的。

        StartUrl : 开始爬取得url. 如:StartUrl  http://slashdot.org/

        limitToDomain : 这选项可用则不可以爬行指定的特殊域名。设置方式:limitToDomain .fr .dk end 。则不允许爬行这些域名。

        forbiddenExtensions : 不想要的扩展名文件。一定不要禁止.html .htm larbin爬得即使它们。实际上指定禁止也一定是无效的。

                      用法:forbiddenExtensions .tar .gz .deb

   2.options.h

     1.选择输出模式 (不用则在前面注释去掉即可)

         #define DEFAULT_OUTPUT : 默认模式。 什么都不会输出,所以不要选择这个。

        #define SIMPLE_SAVE  :   简单保存。存在save/dxxxxxx/fyyyyyy文件中 每个目录下2000个文件。

        #define MIRROR_SAVE  :  镜像方式存储。按网页的层次存储。可以作为网页的字典。

        #define STATS_OUTPUT :  状态输出。在网页上进行状态表示。可以通过查看http://localhost:8081/output.html 查看结果。

        这些模式被定制在src/types.h中。自己可以在src/interf/useroutput.cc中定义自己的输出模式。

     2.特定查询

        设定此模式是查询特定的文件,必须定义两个参数。

        #define SPECIFICSEARCH :设置特定的查询。

        #define contentTypes ((char *[]) { "audio/mpeg", NULL }) :内容类型。

        #define privilegedExts ((char *[]) { ".mp3", NULL })  :文件扩展。 用于查询速度 不涉及类型 类型由上一个决定

        设置完要设置特定文件的管理

        #define DEFAULT_SPECIFIC :默认管理方式。 作为html有限制除了被解析。

        #define SAVE_SPECIFIC :存储特定文件。 允许将文件存储在硬盘上  文件可以很大在src/types.h 可以具体设置。

        #define DYNAMIC_SPECIFIC :动态存储模式。对于较大的文件动态的分配buffer。

        可以通过"src/fetch/specbuf.cc" and "src/fetch/specbuf.h" 定义特定文件的管理方式。

     3. 你要爬虫做什么

          #define FOLLOW_LINKS: 不继续子链接。不设置此项则html页不被解析链接也不会爬子链接。通过输入系统添加url时很有用

        #define LINKS_INFO :每个网页中包含的子链接的列表。在"useroutput.cc" 用page->getLinks() 访问此信息。

        #define URL_TAGS:url标签。设置此项url有一个int(默认为0)。使用输入系统统时应该给定一个int。可以通过其获取url。可以重定向。

        #define NO_DUP: 不允许重复。如果设置则遇到相同网页但已遇到过时则不管。

        #define EXIT_AT_END :结束退出。没有url可爬取时是否退出。设置则退出。

        #define IMAGES:抓取网页中的图片。设置了此项则要更新larbin.conf中禁止项。

        #define ANYTYPE:抓取任何类型网页不管其的类型。设置要更新larbin.conf。

        #define COOKIES:要larbin管理cookies。只简单实现但很有用。

  4. 其他选项说明

     0 : yes ; 1 : no ; 2 : NO ! :选项参数 0要所有,1不要含有?或=的,2禁止包含通配符的。

        #define CGILEVEL 1:定于选项及其参数。用于对爬行的url的限制。<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

        #define MAXBANDWIDTH 200000: larbin使用的带宽大小。不设置则不限带宽。

       #define DEPTHBYSITE :当url链接到其他站点时新rul的深度是已被初始化的。

  5.效率和特征

        #define THREAD_OUTPUT:是否为输入制定一个专用线程。当你在useroutput.cc定义自己的代码时必须设置此项。

        #define RELOAD:重启位置记录表。设置此项时可以从上次终止处继续爬取。使用-scratch 选项从上次结束处重启。

  6. Larbin怎样工作

             #define NOWEBSERVER:不启动服务器。不运行线程时很有用

             #define GRAPH:是否在状态也使用柱状图。

             #define NDEBUG:不启动调试信息。

             #define NOSTATS:不启动状态输出。

             #define STATS:启动状态输出。运行时每个一段时间几秒吧就会输出抓取的状态。

             #define BIGSTATS:在标准输出上显示每个被抓去的网页名字。会降低larbin速度。

             #define CRASH:用于报告严重的bugs用。以make debug模式编译时使用。    

        这个基本是我对官网上配置的翻译。呵呵。。翻译的太差了。不翻译过来看着原配置文件感觉太乱了不知道是什么东东。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2769083次
    • 积分:29832
    • 等级:
    • 排名:第171名
    • 原创:521篇
    • 转载:336篇
    • 译文:0篇
    • 评论:429条
    最新评论