1、nutch-1.x中在crawl.java中。最后有这么一句话。
indexer.index(indexes, crawlDb, linkDb, Arrays.asList(HadoopFSUtil.getPaths(fstats)));
它会把crawldb,linkdb以及segments,进行建立索引。生成文件 indexes,里面包含了part-00000,.....根据自己的depth而定。
2、
dedup.dedup(new Path[] { indexes });
fstats = fs.listStatus(indexes, HadoopFSUtil.getPassDirectoriesFilter(fs));
merger.merge(HadoopFSUtil.getPaths(fstats), index, tmpDir);
主要是对刚才生成的indexes索引部分进行合并(MD5)。删除重复的索引。根据自己的业务可以适量的修改。
2、分布式索引在指定时也可以指定 indexes部分,也可以指定index部分,两者的区别应该知道了吧!