SolrCloud学习（二）中文分词

中文分词

SolrCloud自身也支持中文分词，根据系统需求，我这里使用了IKAnalyzer分词器。支持Solr的IKAnalyzer版本是IKAnalyzer2012FF_u1。

第一步

添加IKAnalyzer的jar包至lib环境，操作如下：

cp IKAnalyzer2012FF_u1.jar /data1/solr/example/solr/collection1/lib/

如/data1/solr/example/solr/collection1/lib/不存在，创建该目录。

这里也可以拷贝IKAnalyzer的配置文件和停用词文件：IKAnalyzer.cfg.xml，stopword.dic

stopword.dic是英文的一些停用词表，根据需求我们要创建自己的中文停用词表

touch chinese_stopword.dic

配置 IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 
    <entry key="ext_dict">ext.dic;</entry> 
    -->
    <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords">stopword.dic;chinese_stopword.dic</entry>

</properties>

最后拷贝IKAnalyzer.jar文件至solrhome/lib目录下

cp IKAnalyzer2012FF_u1.jar /data1/solr/example/solr/lib

以上操作执行在SolrCloud的每个节点服务器

第二步

配置solr的collection1/conf/schema.xml文件，配置如下

   <!-- add IKanalyzer filed-->
   <field name="app_name" type="ikanalyzer" required="false" indexed="true" stored="true"/>
   <field name="app_name_edited" type="ikanalyzer" required="false" indexed="true" stored="true"/>

field根据type属性定义分词器

    <fieldType name="ikanalyzer" class="solr.TextField">
        <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
        <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
        <analyzer type="multiterm">
            <tokenizer class="solr.KeywordTokenizerFactory" />
        </analyzer>
    </fieldType>

至此，IKAnalyzer中文分词添加完成，更新下zookeeper的solr配置

cloud-scripts/zkcli.sh -cmd upconfig -zkhost server1:2181,server2:2181 -collection collection1 -confname myconf -solrhome ./solr -confdir ./solr/collection1/conf

重启tomcat即可