heritrix多线程抓取解析多个DNS就停止的原因及解决办法

heritrix在使用ELFHash等算法进行多线程抓取时经常出现只解析多次DNS就停止的情况。网上说的一些原因都不清楚。经过两天研究，基本找到了原因并提供一个简单的解决办法。

当使用多线程进行抓取时，种子url先经过DNS解析，DNS解析需要一定的时间，当DNS还没有解析完毕时，种子url已经抓取完毕并且重试了多次，所以当DNS解析完毕时没有新的url加入队列。而在单线程模式下，种子url抓取的过程是在DNS解析出结果之后再重新进行抓取，但多线程状况下，这种顺序被打乱，可能种子url在DNS还没解析出来就试图抓取了，就会出现错误，导致后面解析出DNS后没有需要抓取的url了。具体原因可能是跟url队列有关系，多线程中DNS和对应的种子不是放在同一个队列中，所以它们的抓取顺序变了。另一方面，在配置抓取order时有一个retry-delay-seconds，在多线程情况下也失效，通过测试我发现重新抓取delay的时间根本不是设置的时间，几乎没有延迟就重新抓取了。这也导致种子url在抓取失败后没有等待而是继续重试抓取种子，所以这样虽然重试了多次抓取种子url，但是DNS解析好没有出来结果，最后导致的还是只解析多个DNS结束。总之一句话，多线程抓取导致了抓取顺序变化和部分延迟功能失效，进而导致出现只解析多次DNS就停止的问题。ps:在出现的问题中，max-retries的数值一般就是最后解析DNS的次数。大家可以试一下。

解决办法：我只弄了个很简单的办法，期待大牛提出更好的办法，在线程中判断url是否是种子，如果是就让线程睡一段时间等待DNS解析完成。具体改的代码就是ToeThread类中的run()方法。在 processCrawlUri();后面加上 ：

                      if(curi.isSeed())

                Thread.sleep(1000);

线程sleep的时间可以视网络延迟来定，大一点也无所谓，毕竟种子url是很少的，对效率影响不大。

还有个方法就是max-retries数字设大一下，我这里30以上就可以。

肯定还有其他好的方法，欢迎大家讨论。

感谢heritrix群：10447185及群主 guoyunsky。群主写的一系列博客很棒。