Heritrix提高抓取效率的若干尝试

一．利用ELFHash策略多线程抓取网页

   这些天看了其它小组的博客，发现大家用Heritrix抓取所花的时间都比较长，基本都要花上数天的时间才能抓完，名副其实的爬虫…之所以这么慢，一个重要的原因是heritrix在抓取时一般只运行了一个线程。在网上查找原因，得知这是因为在默认的情况下，Heritrix使用HostnameQueueAssignmentPolicy来产生key值，而这个策略是用hostname作为key值的，因此一个域名下的所有链接都会被放到同一个线程中去。如果对Heritrix分配URI时的策略进行改进，利用ELFhash算法把url尽量平均分部到各个队列中去，就能够用较多的线程同时抓取一个域名下的网页，速度将得到大大的提高。

   具体的做法如下：

   1．在org.archive.crawler.frontier下新建一个ELFHashQueueAssignmentPolicy类，这个类要注意继承自QueueAssignmentPolicy。

   2．在该类下编写代码如下：

package org.archive.crawler.frontier;

import org.apache.jasper.logging.Logger;
import org.archive.crawler.datamodel.CandidateURI;
import org.archive.crawler.framework.CrawlController;

public class ELFHashQueueAssignmentPolicy extends QueueAssignmentPolicy {
private static final Logger logger = Logger
.getLogger(ELFHashQueueAssignmentPolicy.class.getName());

public String getClassKey(CrawlController controller,

CandidateURI cauri) {

String uri = cauri.getUURI().toString();

long hash = ELFHash(uri);

String a = Long.toString(hash % 100);

return a;

}

public long ELFHash(String str) {

long hash = 0;

long x = 0;

for (int i = 0; i < str.length(); i++) {

hash = (hash << 4) + str.charAt(i);

if ((x = hash & 0xF0000000L) != 0) {

hash ^= (x >> 24);

hash &= ~x;

}

}

return (hash & 0x7FFFFFFF);

}
}

    3. 修改/Heritrix/src/org/archive/crawler/frontier/AbstractFrontier.java 类的AbstractFrontier方法：

   关键代码段是：

   Stringqueue Str = System.getProperty(AbstractFrontier.class.getName()+
                 "."+ ATTR_QUEUE_ASSIGNMENT_POLICY,