Solr加入中文分词器。

        中文分词在solr里面是没有默认开启的，需要我们自己配置一个中文分词器。目前可用的分词器有smartcn，IK，Jeasy，庖丁。其实主要是两种，一种是基于中科院ICTCLAS的隐式马尔代夫HMM算法的中文分词器，如smartcn，ictclas4j，优点是分词准确度高，缺点是不能使用用户自定义词库；另一种是基于最大匹配的分词器，如IK，Jeasy，庖丁，优点是可以自定义词库，增加新词，缺点是分出来的垃圾词较多。各有优缺点看应用场合自己衡量选择吧。

        下面给出两种分词器的安装方法，任选其一即可，推荐第一种，因为smartcn就在solr发行包的contrib/analysis-extras/lucene-libs下，就是lucene-analyzers-smartcn-4.7.0.jar，首选在solrconfig.xml中加一句引用analysis-extras的配置，这样我们自己加入的分词器才会引用到solr中。

<lib dir = "../../../contrib/analysis-extras/lib" regex = ".*\.jar" />

smartcn分词器的安装

        首先将发行包的contrib/analysis-extras/lucene-libs/lucene-analyzers-4.7.0.jar复制到\solr\contrib\analysis-extras\lib下，在solr本地应用文件夹下，打开/solr/conf/scheme.xml，编辑text字段类型如下，添加以下代码到scheme.xml中的相应位置，就是找到fieldType定义的那一段，在下面多添加这一段就好。

<fieldType name = "text_smartcn" class = "solr.TextField" positionIncrementGap = "0">

<analyzer type = "index">

<tokenizer class = "org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory" />

<filter class = "org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory" />

</analyzer>

<analyzer type = "query">

<tokenizer class = "org.apache.lucene.analysis.cn.smart.SmartChineseSentenceTokenizerFactory" />

<filter class = "org.apache.lucene.analysis.cn.smart.SmartChineseWordTokenFilterFactory" />

</analyzer>

</fieldType>

        如果需要检索某个字段，还需要再schema.xml下面的field中，添加指定的字段，用text_smartcn作为type的名字，来完成中文分词。如text要实现中心检索的话，就要做如下的配置：

<field name = "text" type = "text_smartcn" indexed = "true" stored = "false" multiValued = "true" />

IK分词器的安装

        首先要去下载IKAnalyzer的发行包。

        下载后解压出来文件中的三个复数到\solr\contrib\analysis-extras\lib目录中。

• IKAnalyzer2012FF——u1.jar                   分词器jar包
• IKAnalyzer.cfg.xml                                      分词器配置文件
• Stopword.dic                                              分词器停词字典，可自定义添加内容

         复制后就可以像smartcn一样的进行配置schema.xml了。

<fieldType name = "text_ik" class = "solr.TextField" >

<analyzer class = "org.wltea.analyzer.lucene.IKAnalyzer" />

</fieldType>

<field name = "text" type = "text_ik" indexed= "true" stored = "false" multiValued = "true" />

         现在来验证下是否添加成功，首先使用StartSolrJetty来启动solr服务。

         启动过程中如果配置出错，一般有两个原因：

• 一是配置的分词器jar找不到，也就是你没有复制jar包到\solr\contrib\analysis-extras\lib目录下。
• 二十分词器版本不对导致的分词器接口API不一样出的错，要是这个错的话就在检查分词器的相关文档，看一下支持的版本是否一样。

         如果在启动过程中没有报错的话说明配置成功了，我们可以进入到http://localhost:8080/solr地址进行测试一下刚加入的中文分词器，在首页的Core Selector中选择你配置的Core后点击下面的Analysis，在Analyse Fieldname / FieldType里选择你刚才设置的字段名称或是分词器类型，在Field Value(index)中输入：中国人，点击右面的分词就行了。