nutch1.3数据流程图

流程入口org.apache.nutch.crawl   crawl.java    Crawl::run  里面的很多类中都使用了mapreduce框架进行数据处理

ulrs:存放在hdfs中的待爬取的urls种子列表

Injector:使用mapreduce任务将urls列表放入CrawlDb数据库中（MapFile），期间会使用配置文件配置的插件进行url的归一化和过滤操作.

crawldb:生成的url及元数据的map库

Generator:从crawldb中逐步获取一部分url放入fetchlist中，并以sements的形式存放，期间会根据时间戳更新crawldb中的url状态（CrawlDbUpdate），以避免重复抓取，并且会给每个url打个分，低于配置的阈值的丢弃

segements/time/crawl_generate:生成的符合条件的待抓取ulrs和元数据

Fetcher/ParseSegment: fetcher使用一个生产者，多个消费者的模式，中间使用队列，生产者(QueueFeeder)往队列里面塞待抓取的url数据，多个消费者(FeatcherThread)从队列中取数据给fetcher去抓取url对应的网页数据，期间会根据robot协议和protocal进行重试，重定向等操作，根据是否解析和存储网页数据，进行ParseSegment操作和存储操作

crawl_fetch,crawl_parse,parse_text,parse_data,content:抓取到的url对应的网页数据，以不同的形式存放。

LinkDb:invert:根据url之间的链接，生成反向链接表linkdb

linkdb:生成的反向链接表

CrawlDb::update:从featcher的输出,其中有新的url,更新crawldb

SolrIndexer::indexSolr:调用solr的建索引接口，使用生成的linkdb,crawldb,segments数据以及solr中的字段配置solr/example/solr/conf/schema.xml信息建索引

index:生成的索引

SolrDeleteDuplicates::dedup:去重，同一digest的doc，保持boost最高的，boost最高的有多条，保留时间戳最新的

dedupped index:去重后的index