[wbia 1.2]关于Heritrix的日志

    用heritrix爬得结果之后，开始计算结果页面的pagerank。计算pagerank需要得到url之间的链接关系。根据 这里 的说法可以通过以下三种方法得到。

1. 直接分析爬到的网页得到url间的链接关系。

2. 分析hertrix的log，得到hertrix爬取的路径，从而得到网页间的链接关系。

3. 修改hertrix的源代码，在爬取过程中将链接关系记录下来。

    第二种看似是最方便的方法，这里我们先详尽看下hertrix log的格式。

一、hertrix log格式（以下部分内容转自 http://blog.sina.com.cn/s/blog_5e8392b10100r563.html ）

     每一个试图抓取的URL在log中都会有记录，不管抓取成功与否。如下面两行记录：
2011-01-16T11:42:21.240Z   404       1308 http://mla.bjfu.edu.cn/en LLL http://mla.bjfu.edu.cn/ text/html #036 20110116114221231+5 sha1:MRXRBEASXLAAB7Q3YWHUBUIS652IH4RK - -
2011-01-16T11:42:21.242Z   200      42538 http://app.bjfu.edu.cn/zsb/new/zyjd/zyjs/waiyu.jpg LLEhttp://app.bjfu.edu.cn/zsb/new/zyjd/ image/jpeg #017 20110116114221188+53 sha1:HTHF6KL3PESDFS7SFBZZBRWSMBB4F6W6 - -
第1列，是写入log的时间
第2列，抓取状态码，这个标识码记录了在抓取该URI时的http header的返回状态。404-Not Found, 200-OK.   200~599是标准的HTTP response.具体见

http://www.cnblogs.com/goodness/archive/2012/04/05/2433681.html 

第3列，下载的doc的大小
第4列，下载的doc的URI
第5列，记录到达当前页面的途径

  R - Redirect
  E - Embed
  X - Speculative embed (aggressive/Javascript link extraction)
  L - Link
  P - Prerequisite (as for DNS or robots.txt before another URI)

第6列，直接链接到当前URI的URI

第7列，文档类型
第8列，下载当前doc的线程ID
第9列，时间戳
第10列，内容的SHA1 digest
第11列，这个URI继承的source tag（在这个feature enable的情况下）
第12列，注释。包括RUL的尝试抓取次数（-表示从来没有重试）等

二、关于从日志中抽取链接关系

     上面说的第2种方法，即从日志中得到链接关系。仔细观察发现，实际上日志记录的只是下载后的页面。Heritrix采用的是广度优先的遍历，并做过处理，不会重复遍历页面。因此，去掉了很多边。用log得到的链接关系是一个树状结构，我们实际上并不能得到网页的真正链接关系。无法还原图的完整的链接关系，因此在这种设置下，用log进行计算是不可行的。

      请教别人说，可以通过修改conf/heritrix.properties文件，将extractorHTML的LEVEL设为FINEST，改变日志的粒度，从而得到完整的链接关系。不过没有试验这个方法，而是直接修改了Heritrix的代码。修改方法会在下一篇中写到。

转载于:https://www.cnblogs.com/goodness/archive/2012/04/05/2432610.html