关闭

Nutch1.7学习笔记7:Robots协议处理流程

2992人阅读 评论(1) 收藏 举报
分类:

Nutch1.7学习笔记7:Robots协议处理流程

作者:雨水,时间:2013-12-1博客地址:http://blog.csdn.net/gobitan

说明:通常来说,网络爬虫应该遵循网站所描述的robots协议。因此,任何网络爬虫都有关于robots协议部分的处理。

分析入口:Robot相关处理的入口位于Fetcher.java的L676,如下所示:

BaseRobotRules rules = protocol.getRobotRules(fit.url, fit.datum);

 

Fetcher抓取每个URL之前都会先查看系统之前是否已经获取了URL所对应的robots协议,如果已经获取了,则检查该URL是否符合robots协议的规则,如果不符合,则会跳过该URL不抓取。如下:

if(!rules.isAllowed(fit.u.toString())) {

                // unblock

                fetchQueues.finishFetchItem(fit,true);

                if (LOG.isDebugEnabled()) {

                  LOG.debug("Denied byrobots.txt: " + fit.url);

                }

                output(fit.url, fit.datum, null, ProtocolStatus.STATUS_ROBOTS_DENIED, CrawlDatum.STATUS_FETCH_GONE);

               reporter.incrCounter("FetcherStatus", "robots_denied", 1);

                continue;

              }

getRobotRules的过程如下:

网站所对应的Robot规则放在Hashtable<String,BaseRobotRules>缓存里,其中String键为协议和子域名的组合,BaseRobotRules值为该URL所对应的Robot规则。如当爬取http://www.apache.org/时,String的值就为http:www.apache.org。

如果是第一次访问这个域名时,那么通过该URL获取出来就是空null,此时将以该URL为基础生成一个获取robot的URL,如http://www.apache.org/robots.txt。然后发送HTTP请求获取该robot协议并调用RobotRulesParser.parseRules来解析。 解析成功后,就将其放入HashTable的缓存中。解析Robot协议的代码是引用的一个叫crawler-commons的第三方库,该库也是开源的,可以在https://code.google.com/p/crawler-commons/找到。Nutch1.7使用的是crawler-commons-0.2版本。

如果没有找到该robots.txt,那么系统将用默认的空规则,也就是允许抓取所有的页面。同时也将其作为该URL对应的规则放入HashTable缓存,这样下次访问该子域名的时候不用重复获取Robot规则,直接取出来进行判断即可。

2
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:980426次
    • 积分:9133
    • 等级:
    • 排名:第2007名
    • 原创:183篇
    • 转载:6篇
    • 译文:0篇
    • 评论:305条
    最新评论