Solr1.4+Nutch1.2构建分布式搜索服务

      网上有很多文章介绍配置solr+nutch，但感觉没多少是完整的，有些只是配置出用solr建立nutch索引并能用solradmin查找到数据就完事，我这篇文章主要介绍怎样把solr集成到nutch的搜索前台，让nutch能用到solr的索引服务从而构建出分布式搜索服务。由于本文主要介绍solr和nutch的集成，nutch的配置和爬取不在本文的讨论范围，需要的可以网上搜集相关资料，还有本文所说的索引库是保存在分布式hdfs中的，不是本地索引库，当然本地索引库也可以用这种方法。假设我的索引库在hdfs中的路径名为：/user/用户名/索引库名

 

我的运行环境:

 

linux CentOS

JDK1.6

Nutch 1.2

Solr1.4.1

Solr下载地址：http://www.apache.org/dyn/closer.cgi/lucene/solr/

步骤：
1.部署配置solr
（1）部署Solr
       解压apache-solr-1.4.1到/opt/solr目录
        部署WAR包
       把/opt/solr/dist/apache-solr-1.4.1.war复制到/opt/tomcat/webapps/solr.war
（2）设置solr.home环境变量
       vi /etc/profile
       在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC后面加上
       export JAVA_OPTS="$JAVA_OPTS -Dsolr.solr.home=/opt/solr/example/solr"

（3）配置schema.xml

       把nutch1.2conf目录下的schema.xml复制到/opt/solr/example/solr/conf中替换原文件。
       注：必须把<copyField source="url" dest="id"/>这句话删除，否则后面建索引时会出错。

 

修改/opt/solr/example/solr/conf/solrconfig.xml增加以下内容:

<requestHandler name="/nutch" class="solr.SearchHandler" > <lst name="defaults"> <str name="defType">dismax</str> <str name="echoParams">explicit</str> <float name="tie">0.01</float> <str name="qf">content^0.5 anchor^1.0 title^1.2 </str> <str name="pf"> content^0.5 anchor^1.5 title^1.2 site^1.5 </str> <str name="fl"> url </str> <str name="mm"> 2<-1 5<-2 6<90% </str> <int name="ps">100</int> <bool name="hl">true</bool> <str name="q.alt">*:*</str> <str name="hl.fl">title url content</str> <str name="f.title.hl.fragsize">0</str> <str name="f.title.hl.alternateField">title</str> <str name="f.url.hl.fragsize">0</str> <str name="f.url.hl.alternateField">url</str> <str name="f.content.hl.fragmenter">regex</str> </lst> </requestHandler>
2.启动solr服务：

/opt/solr/example/java -jar start.jar

3.将nutch的索引映射到solr

bin/nutch solrindex http://192.168.32.3:8983/solr/ /user/用户名/索引库名/crawldb /user/用户名/索引库名/linkdb /user/用户名/索引库名/segments/*

 

4.测试solr索引
   访问solr查询界面,提交查询表单,检查能否查到数据 http://127.0.0.1:8983/solr/admin

 

5.配置solr-servers
   在本地新建一个solr-servers.txt里面写上；
     http://127.0.0.1:8983/solr/
   把传到hdfs中的索引库名目录下，参考语句：
    bin/hadoop fs -copyFromLocal /data/solr-servers.txt /user/用户名/索引库名

6.配置nutch

（1）配置core-site.xml

 把nutch/conf/core-site.xml改成：

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://127.0.0.1:9000</value> <description></description> </property> </configuration>

   

（2）配置nutch-site.xml

   把nutch/conf/nutch-site.xml中的searcher.dir改成/user/用户名/索引库名，
例：

<property> <name>searcher.dir</name> <value>/user/crawler/sina</value> </property>

 

（3）下载缺少的类包

    到http://www.slf4j.org/dist/slf4j-1.5.5.zip下载slf4j-1.5.5，其它版本可能会出错，
解压后复制slf4j-api-1.5.5.jar和slf4j-log4j12-1.5.5.jar到nutch搜索前台的WEB-INF/lib下，否则引用solr服务时会因为没找到这两类包而报错。

 

7.OK，整个过程完成，你可以在nutch前台启动时查看控制台输出信息，如果出现
2010-12-25 08:46:54,081 INFO  SearchBean - Adding Solr searchers in hdfs://crawler001:9000/user/crawler/sina/solr-servers.txt
。。。。
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: content dest: content
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: site dest: site
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: title dest: title
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: host dest: host
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: segment dest: segment
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: boost dest: boost
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: digest dest: digest
2010-12-25 08:46:55,134 INFO  SolrMappingReader - source: tstamp dest: tstamp
2010-12-25 08:46:55,135 INFO  SolrMappingReader - source: url dest: id
2010-12-25 08:46:55,135 INFO  SolrMappingReader - source: url dest: url
2010-12-25 08:46:55,135 INFO  SearchBean - Added 1 remote searchers.
之类的信息，就说明配置完成，可实现分布式搜索。如果想多增加几个solr索引服务的话只要把上述在其它机器上重新做一遍，然后更新solr-servers.txt加上新的服务地址就行。

（4）配置solrconfig.xml