Lucene、Nutch、Solr

    首先，说一下三者之间的关系。

    lucene是一个做搜索用的类库。 

    nutch和solr都是基于lucene的，二者都是可直接运行的应用程序。 
  
    solr是lucene的服务器化，内嵌了jetty，提供REST接口， 
用户可以直接post数据给solr，然后由solr进行索引。 
solr不包含下载系统，用户需要负责下载，转成solr所需要的格式。 
solr还提供查询接口供用户查询。 
  
    nutch可以看成一个out-of-box的搜索引擎，包含了crawler，indexer和查询接口。 
但nutch更偏向于下载系统。 
  

    一般可以使用nutch做crawler，而使用solr做indexer和查询接口。 

    其次，看一下Nutch各个模块，以及如何将数据传输给solr。   

         Nutch 的入口 是 ： Crawl 。

         主要模块：

1、Injector

将 入口  url 放入 crawldb 中。并初始化 crawldb。

2、Generator

读取crawldb中 的url，过滤出将要抓取的url列表，叫 fetchlist ，并生成相应的 segment。

3、Fetcher

将 fetchlist 作为 源，抓取页面，调用 parse 。

4、ParseSegment

分析页面（html／JS／CSS／PDF／World 等等，根据配置）得出 parse_data ／parse_text ／ 外链。

5、CrawlDb（update）

由parse结果，更新crawldb。

6、LinkDb

分析 url 连接关系。

7、SolrIndexer

将数据传送给Solr。

       再次，看一下Nutch、Hadoop、Lucene、Solr 之间 的数据交互

      Nutch 把所有的，都按自己的重新写了一遍，NutchDocument、NutchField ，都 实现 Hadoop的 Writable 接口。这样就很容易的写到了 HDFS 上。

      Nutch 可以 用 把数据传输给 Solr

bin/nutch solrindex http://127.0.0.1:8983/solr/ crawldb -linkdb crawldb/linkdb crawldb/segments/*

       这个命令调用的是：org.apache.nutch.indexer.solr.SolrIndexer 

       在上面会 MapReduce 的配置 及启动。查看Reduce的实现，没有任何的 向Solr 写内容的代码，在初始化Job的时候NutchIndexWriterFactory.addClassToConf(job, SolrWriter.class); 有一个这样的类，SolrWriter ，在这个里面可以找到相关与Solr交互的代码。

       而Solr 里，接收请求的是：BinaryUpdateRequestHandler ，会把 Nutch 传进来的 内容 转换成 Lucene 的索引。