solr+mmseg4j 中文分词

这篇文章是接着上面一篇文章的：http://blog.sina.com.cn/s/blog_abba9c1d0101d6tx.html

首先安装mmseg4j

官网：https://code.google.com/p/mmseg4j/
下载地址：http://code.google.com/p/mmseg4j/downloads/list

wget http://mmseg4j.googlecode.com/files/mmseg4j-1.9.0.v20120712-SNAPSHOT.zip

(我用的是mmseg4j-1.9.0.v20120712-SNAPSHOT.zip)因为我用的solr是4.0的 

mmseg4j 1.8.3 只支持 lucene 2.9/3.0 接口 和 solr1.4。其它没改动。

mmseg4j 1.8.5 支持 lucene 3.1, solr3.1。

mmseg4j 1.9.0 支持 lucene 4.0, solr4.0。

我在我的安装目录下建了连个文件夹一个放jar文件，一个放词库文件

sudomkdir /var/www/solr/lib

sudo mkdir /var/www/solr/dic

解压缩文件：unzipmmseg4j-1.9.0.v20120712-SNAPSHOT.zip  -d ./mmseg4j

然后把.jar文件移动到建好的lib目录下：

   sudocp -r mmseg4j/mmseg4j-all-1.9.0.v20120712-SNAPSHOT.jar/var/www/solr/lib/

后面再把词库文件*.dic移到dic目录下面:

  sudo cp -r mmseg4j/data/*  /var/www/solr/dic/

然后我们就需要编辑自己的配置文件和表结构文件，首先编辑配置文件：

cd  /var/www/solr/

sudo  nano collection1/conf/solrconfig.xml 

然后在标签写入mmseg4j-*-.jar的路径

        <libdir="/var/www/solr/lib" />

我尝试了一下这边路径最好写全路径，网上说可以写相对路径但是我写相对路径的时候就会报错

然后开始编辑表结构文件：

   sudo nanocollection1/conf/schema.xml 

在里面相应的标签内加入下面这几段代码：

  <field name="simple" type="textSimple" indexed="true" stored="true"/>
  <field name="complex" type="textComplex" indexed="true" stored="true"/>
  <field name="MaxWord" type="textMaxWord" indexed="true" stored="true"/>

   <copyField source="simple"dest="text" />
   <copyField source="complex" dest="text"/>
   <copyField source="MaxWord" dest="text"/>

MMSeg算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex加了四个规则过虑。

   <fieldType name="textComplex" class="solr.TextField">
    <analyzer>
      <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="/var/www/solr/dic"/>
    </analyzer>
  </fieldType>
      <fieldType name="textMaxWord" class="solr.TextField">
    <analyzer>
      <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="/var/www/solr/dic"/>
    </analyzer>
  </fieldType>
      <fieldType name="textSimple" class="solr.TextField">
    <analyzer>
      <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="/var/www/solr/dic"/>
    </analyzer>
  </fieldType>

注意的是：

dicPath的值改成你自己机器上词库相应的目录。(最好使用决定路径)

自定义词库文件名必需是 “words” 为前缀和 “.dic”为后缀。如：/dic/words-my.dic

dicPath指定词库位置（每个MMSegTokenizerFactory可以指定不同的目录，当是相对目录时，是相对 solr.home的目录），mode指定分词模式（simple|complex|max-word，默认是max-word）

在定义field的时候要注意名称不能重复，我在做的时候就犯了这样一个错误：
报错的内容：

到这就安装配置好了，咱们重启下tomcat就可以访问了：

sudo  /usr/local/tomcat7/bin/shutdown.sh

sudo  /usr/local/tomcat7/bin/startup.sh 

http://yourServerIP:8983/solr/#/collection1/analysis

自定义词库文件名必需是“words” 为前缀和 “.dic” 为后缀。如：/data/words-my.dic。

这里直接把mmseg4j/data目录下的所有.dic文件拷贝到$TOMCAT_HOME/solr/dict目录下。共有：4个dic文件，chars.dic、units.dic、words.dic、 words-my.dic。下面简单解释一下这几个文件的作用。

 

* data/chars.dic是单字与语料中的频率，一般不用改动，1.5版本中已经加到mmseg4j的jar里了，我们不需要关心它，当然你在词库目录放这个文件可能覆盖它。

 * data/units.dic 是单字的单位，默认读jar包里的，你也可以自定义覆盖它。

 * data/words.dic 是词库文件，一行一词，当然你也可以使用自己的，1.5版本使用sogou 词库，1.0的版本是用 rmmseg 带的词库。

 * data/wordsxxx.dic 1.6版支持多个词库文件，data目录（或你定义的目录）下读到"words"前缀且".dic"为后缀的文件。如：data/words-my.dic。

1.9新出的一个功能，还没用过，就是MMseg4jHandler:

添加 MMseg4jHandler类，可以在solr中用url的方式来控制加载检测词库。参数：

 * dicPath是指定词库的目录，特性与MMSegTokenizerFactory中的dicPath一样（相对目录是，是相对solr.home）。

 * check 是指是否检测词库，其值是true 或on。

 * reload 是否尝试加载词库，其值是 true 或on。此值为 true，会忽视 check 参数。

sudo nano collection1/conf/solrconfig.xml  

加入一下代码：

     <requestHandler name="/mmseg4j"class="com.chenlb.mmseg4j.solr.MMseg4jHandler">
          <lst name="defaults">
               <str name="dicPath">dic</str>
          </lst>
     </requestHandler>

此功能可以让外置程序做相关的控制，如：尝试加载词库，然后外置程序决定是否重做索引。