Stopping at depth=1 - no more URLs to fetch.

Hadoop集群时间不统一导致Nutch无法正常运行

抓取domain的时候 nutch 可以正确的构建fecthlist,但是只能抓取主域名一个url,还不报错，于是也研究下了代码,看到网上也有人评论,那我就不在自己写了m感觉这位仁兄总结的很好,有一点需要注意的就是，dns 设置的不对也有可能发生这样 的情况
转自：http://liuskysun.blog.163.com/blog/static/99812978201171922133994/
现象：在调试Nutch源码，Crawl.java过程中发现：（红色部分）产生的Segments为NULL，导致无法进行下一次迭代，而结束整个抓取任务。
for (i = 0; i < depth; i++) {
if (checkTaskStop(uploadUrl, nodeRef)) {
break;
}
long top = topN;
if (i == 0 && fetchNum > 0) {
top = Long.MAX_VALUE;
}
Path[] segs = generator.generate(crawlDb, segments, -1, top, System.currentTimeMillis());
if (segs == null) {
log.info("Stopping at depth=" + i + " - no more URLs to fetch.");
break;
}

// fetch it
if (checkTaskStop(uploadUrl, nodeRef)) {
break;
}
fetcher.fetch(segs[0], threads, org.apache.nutch.fetcher.Fetcher.isParsing(conf));
if (!Fetcher.isParsing(job)) {
// parse it, if needed
parseSegment.parse(segs[0]);
}

// update crawldb
if (checkTaskStop(uploadUrl, nodeRef)) {
break;
}
if (i < depth-1) {
crawlDbTool.update(crawlDb, segs, true, true);
}
}

原因：由于Hadoop集群的时间不统一导致

解决方法：同步Hadoop集群时间到统一时间点，重新启动hadoop集群(或者把namenode的时间设置成比其他node的时间大)。
sudo date -d 2011/08/19
sudo date -s 14:06:00