Solr中文分词配置(IKAnalyzer)

 

本文介绍以IKAnalyzer为主的Solr中文分词的配置。

 

1. 关于IKAnalyzer

IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

 

2. 下载

http://code.google.com/p/ik-analyzer/  

 

 

3. 配置

  

3.1.  schema.xml配置

 某核下中 conf/schema.xml </type>前添加

 <fieldType name="text_ik" class="solr.TextField" >
  <analyzer type="index">
   <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="true"/>
  </analyzer>
  <analyzer type="query">
   <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="true"/>
  </analyzer>
 </fieldType>

 

3.2. 文件复制

 将相关文件复制到tomcat home下的 .\webapps\solr

3.2.1. IKAnalyzer2012.jar 复制到 WEB-INF\lib

3.2.2. IKAnalyzer.cfg.xml 与 stopword.dic 复制到 WEB-INF\class

 

4. 进入分析页面确认是否配置成功

因我是配置在多核的名为liuweitoo的核中，查看地址为： http://localhost:9090/solr/liuweitoo/admin/analysis.jsp

 

在该页面输入相关内容后，进行分析，如为下图，则中文分词配置成功。