solr开源框架

今晚，下了solr的开源war包进行在本地运行，感觉还不错。在网上google了一下，这里做一个记录，避免以后忘记。
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索 服务器。对Lucene不熟？那么建议先看看下面两篇文档：
　　实战Lucene，第 1 部分： 初识 Lucene： http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
　　用Lucene加速Web搜索应用程序的开发： http://www.ibm.com/developerworks/cn/web/wa-lucene2/
　　 一、 solr介绍
　　solr是基于Lucene Java搜索库的企业级全文搜索引擎，目前是apache的一个项目。它的官方网址在 http://lucene.apache.org/solr/ .solr需要运行在一个servlet 容器里，例如tomcat5.5.solr在lucene的上层提供了一个基于HTTP/XML的Web Services，我们的应用需要通过这个服务与solr进行交互。
　　 二、 solr安装和配置
　　关于solr的安装和配置，这里也有两篇非常好的文档，作者同时也是 Lucene Java 项目的提交人和发言人：
　　使用Apache Solr实现更加灵巧的搜索： http://www.ibm.com/developerworks/cn/java/j-solr1/index.html
　　 http://www.ibm.com/developerworks/cn/java/j-solr2/index.html
　　下面主要说说需要注意的地方。
　　Solr的安装非常简单， 下载solr 的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr 的主位置。有三种方法。我采用的是在tomcat里配置java：comp/env/solr/home的一个JNDI指向solr的主目录 （example目录下），建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

[pre]<Context docBase="D:/solr.war" debug="0" crossContext="true" > <Environment name="solr/home" type="java.lang.String"                   value="D:/solr/solr" override="true" /> </Context>[/pre]

　　观察这个指定的solr主位置，里面存在两个文件夹：conf和data.其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml.data则用于存放索引文件。
　　schema.xml主要包括types、fields和其他的一些缺省设置。
　　solrconfig.xml用来配置Solr的一些系统属性，例如与索引和查询处理有关的一些常见的配置选项，以及缓存、扩展等等。
　　上面的文档对这两个文件有比较详细的说明，非常容易上手。注意到schema.xml里有一个

[pre]<uniqueKey>url</uniqueKey>[/pre]

　　的配置，这里将url字段作为索引文档的唯一标识符，非常重要。
　　 三、 加入中文分词
　　对全文检索而言，中文分词非常的重要，这里采用了qieqie庖丁分词（非常不错：））。集成非常的容易，我 下载的是2.0.4-alpha2版本，其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory.

[pre]/** * Created by IntelliJ IDEA. * User: ronghao * Date: 2007-11-3 * Time: 14:40:59 * 中文切词 对庖丁切词的封装 */ public class ChineseTokenizerFactory extends BaseTokenizerFactory {     /**      * 最多切分   默认模式      */     public static final String MOST_WORDS_MODE = "most-words";     /**      * 按最大切分      */     public static final String MAX_WORD_LENGTH_MODE = "max-word-length";     private String mode = null;     public void setMode(String mode) {              if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)                       || "default".equalsIgnoreCase(mode)) {                   this.mode=MOST_WORDS_MODE;              } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {                   this.mode=MAX_WORD_LENGTH_MODE;              }              else {                   throw new IllegalArgumentException("不合法的分析器Mode                                                 参数设置:" + mode);              }         }     @Override     public void init(Map args) {         super.init(args);         setMode(args.get("mode"));     }     public TokenStream create(Reader input) {         return new PaodingTokenizer(input, PaodingMaker.make(),                   createTokenCollector());     }     private TokenCollector createTokenCollector() {         if( MOST_WORDS_MODE.equals(mode))              return new MostWordsTokenCollector();         if( MAX_WORD_LENGTH_MODE.equals(mode))              return new MaxWordLengthTokenCollector();         throw new Error("never happened");     }       }[/pre]

　　在schema.xml的字段text配置里加入该分词器。

[pre]<fieldtype name="text" class="solr.TextField" positionIncrementGap="100">[/pre][pre]        <analyzer type="index">[/pre][pre]          <tokenizer class="com.ronghao.fulltextsearch.analyzer.                      ChineseTokenizerFactory" mode="most-words"/>           <filter class="solr.StopFilterFactory" ignoreCase="true"                                         words="stopwords.txt"/>[/pre][pre]       <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1"               generateNumberParts="1" catenateWords="1" catenateNumbers="1"                                                      catenateAll="0"/>[/pre][pre]          <filter class="solr.LowerCaseFilterFactory"/>[/pre][pre]            <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>[/pre][pre]         </analyzer>[/pre][pre]    <analyzer type="query">[/pre][pre]         <tokenizer class="com.ronghao.fulltextsearch.analyzer.                             ChineseTokenizerFactory" mode="most-words"/>   [/pre][pre]         <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt"                                          ignoreCase="true" expand="true"/>[/pre][pre]         <filter class="solr.StopFilterFactory" ignoreCase="true" words="                                                        stopwords.txt"/>[/pre][pre]      <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1"              generateNumberParts="1" catenateWords="0" catenateNumbers="0"                              catenateAll="0"/>[/pre][pre]         <filter class="solr.LowerCaseFilterFactory"/>[/pre][pre]          <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>[/pre][pre]     </analyzer>[/pre][pre] </fieldtype>[/pre]

　　完成后重启tomcat，即可在 http://localhost：8080/solr/admin/analysis.jsp
　　体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下，注意修改jar包里字典的home.
　　 四、 与自己应用进行集成
　　Solr安装完毕，现在可以将自己的应用与solr集成。其实过程非常的简单，应用增加数据——>根据配置的字段构建add的xml文档——>post至solr/update.
　　应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档——>post至solr/update.
　　检索数据à构建查询xml—>get至/solr/select/——>对solr返回的xml进行处理——>页面展现。
　　具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示，非常方便。
　　关于中文，solr内核支持UTF-8编码，所以在tomcat里的server.xml需要进行配置

[pre]<Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>[/pre]

　　另外，向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码，然后用“+”连接。
[pre]String[] array = StringUtils.split(query, null, 0);

        for (String str : array) {

            result = result + URLEncoder.encode(str, "UTF-8") + "+";

        }
[/pre]转自 http://java.chinaitlab.com/advance/732532.html

转载于:https://my.oschina.net/u/2484672/blog/523666