关闭

Solr之——整合mmseg4j中文分词库

标签: solrmmseg4j
1985人阅读 评论(1) 收藏 举报
分类:

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/49934333

在上一篇博文《Solr之——整合Tomcat》中,我们介绍了Solr与Tomcat的整合方式,还没有阅读上一篇博文的朋友,请先阅读上一篇博文《Solr之——整合Tomcat》,本文是在上一篇博文的基础上整合mmseg4j中文分词词库的。下面我们一起来实现Solr与mmseg4j的整合。

注:这篇博文中,我使用的是mmseg4j1.8.5。

1、环境准备

首先,下载mmseg4j1.8.5中文分词词库包,解压,在其目录下找到mmseg4j-all-1.8.5.jar包,如下图:

将这个包拷贝到我们在上一篇博文《Solr之——整合Tomcat》中创建的server目录下的solr的lib目录中。

同样的我们在mmseg4j1.8.5下的dist目录中找到mmseg4j-solr-1.8.5.jar包,如下图:


也将其拷贝到我们在上一篇博文《Solr之——整合Tomcat》中创建的server目录下的solr的lib目录中。

拷贝完成后的效果如图:

2、整合

在D:\lucence\solr\home\conf目录下找到schema.xml文件,如下图:

打开文件,在Types节点下添加如下代码:

<!--MMsegAnalyzer-->
<fieldType name="textComplex" class="solr.TextField" >
  <analyzer>
    <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/>
  </analyzer>
</fieldType>
<fieldType name="textMaxWord" class="solr.TextField" >
  <analyzer>
    <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>
  </analyzer>
</fieldType>
<fieldType name="textSimple" class="solr.TextField" >
  <analyzer>
    <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="dic"/>
  </analyzer>
</fieldType>
启动服务器,打开http://localhost:8080/solr/admin/链接,如图所示选择配置项:


在跳转后的页面中按照如图所示进行配置与填写内容:

大家可以看到左下角的分词效果。这里Field选择的是type,而第一个文本框中我们输入的是"textComplex",这里我们可以选择在schema.xml文件中加入的fileType类型,如下图所示:

至此,Solru与mmseg4j整合完成。

注:schema.xml中添加的代码在mmseg4j-1.8.5的README.txt文件中有说明,如下图:

为方便起见,我贴出整个README.txt的文件说明:

以下是README.txt文件的说明:

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/ )实现的中文分词器,并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。

2、MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex 加了四个规则过虑。官方说:词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法。
 * 1.5版的分词速度simple算法是 1100kb/s左右、complex算法是 700kb/s左右,(测试机:AMD athlon 64 2800+ 1G内存 xp)。
 * 1.6版在complex基础上实现了最多分词(max-word)。“很好听” -> "很好|好听"; “中华人民共和国” -> "中华|华人|共和|国"; “中国人民银行” -> "中国|人民|银行"。
 * 1.7-beta 版, 目前 complex 1200kb/s左右, simple 1900kb/s左右, 但内存开销了50M左右. 上几个版都是在10M左右.

mmseg4j实现的功能详情请看:http://mmseg4j.googlecode.com/svn/trunk/CHANGES.txt

3、在 com.chenlb.mmseg4j.example包里的类示例了三种分词效果。

4、在 com.chenlb.mmseg4j.analysis包里扩展lucene analyzer。MMSegAnalyzer默认使用max-word方式分词。

5、在 com.chenlb.mmseg4j.solr包里扩展solr tokenizerFactory。
在 solr的 schema.xml 中定义 field type如:
    <fieldType name="textComplex" class="solr.TextField" >
      <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/>
      </analyzer>
    </fieldType>
    <fieldType name="textMaxWord" class="solr.TextField" >
      <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>
      </analyzer>
    </fieldType>
    <fieldType name="textSimple" class="solr.TextField" >
      <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="n:/OpenSource/apache-solr-1.3.0/example/solr/my_dic"/>
      </analyzer>
    </fieldType>
    
dicPath 指定词库位置(每个MMSegTokenizerFactory可以指定不同的目录,当是相对目录时,是相对 solr.home 的目录),mode 指定分词模式(simple|complex|max-word,默认是max-word)。

6、运行,词典用mmseg.dic.path属性指定、在classpath 目录下或在当前目录下的data目录,默认是 classpath/data 目录。如果使用 mmseg4j-*-with-dic.jar 包可以不指定词库目录(如果指定也可以,它们也可以被加载)。

java -jar mmseg4j-core-1.8-with-dic.jar 这里是字符串。

java -cp .;mmseg4j-1.6.jar -Dmmseg.dic.path=./other-dic com.chenlb.mmseg4j.example.Simple 这里是字符串。

java -cp .;mmseg4j-1.6.jar com.chenlb.mmseg4j.example.MaxWord 这里是字符串

7、一些字符的处理
英文、俄文、希腊、数字(包括①㈠⒈)的分出一连串的。目前版本没有处理小数字问题,
如ⅠⅡⅢ是单字分,字库(chars.dic)中没找到也单字分。

8、词库:
 * data/chars.dic 是单字与语料中的频率,一般不用改动,1.5版本中已经加到mmseg4j的jar里了,我们不需要关心它,当然你在词库目录放这个文件可能覆盖它。
 * data/units.dic 是单字的单位,默认读jar包里的,你也可以自定义覆盖它。
 * data/words.dic 是词库文件,一行一词,当然你也可以使用自己的,1.5版本使用 sogou 词库,1.0的版本是用 rmmseg 带的词库。
 * data/wordsxxx.dic 1.6版支持多个词库文件,data 目录(或你定义的目录)下读到"words"前缀且".dic"为后缀的文件。如:data/words-my.dic。

9、MMseg4jHandler:
添加 MMseg4jHandler 类,可以在solr中用url的方式来控制加载检测词库。参数:
 * dicPath 是指定词库的目录,特性与MMSegTokenizerFactory中的dicPath一样(相对目录是,是相对 solr.home)。
 * check 是指是否检测词库,其值是true 或 on。
 * reload 是否尝试加载词库,其值是 true 或 on。此值为 true,会忽视 check 参数。
 
solrconfig.xml:

    <requestHandler name="/mmseg4j" class="com.chenlb.mmseg4j.solr.MMseg4jHandler" >
        <lst name="defaults">
            <str name="dicPath">dic</str>
        </lst>
    </requestHandler>

此功能可以让外置程序做相关的控制,如:尝试加载词库,然后外置程序决定是否重做索引。


在 solr 1.3/1.4 与 lucene 2.3/2.4/2.9 测试过,官方博客 http://blog.chenlb.com/category/mmseg4j , 如果发现问题或bug与我联系 chenlb2008#gmail.com 。

1.7.2 与 1.6.2 开始核心的程序与 lucene 和 solr 扩展分开打包,方便兼容低版本的 lucene,同时给出低版本(<= lucene 2.2)的 lucene 扩展请仿照 MMSegTokenizer.java。

可以在 http://code.google.com/p/mmseg4j/issues/list 提出希望 mmseg4j 有的功能。

历史版本:

 * 1.0.2 http://mmseg4j.googlecode.com/svn/branches/mmseg4j-1.0/
 * 1.5   http://mmseg4j.googlecode.com/svn/branches/mmseg4j-1.5/
 * 1.6.2 http://mmseg4j.googlecode.com/svn/branches/mmseg4j-1.6/
 * 1.7.3 http://mmseg4j.googlecode.com/svn/branches/mmseg4j-1.7/
大家可以到链接http://download.csdn.net/detail/l1028386804/9284085下载mmseg4j-1.8.5.zip中文分词库

2
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

solr-5.4.1 和 mmseg4j-2.3.0版本的配置

配置solr服务器   1.登录solr的官方网站下载最新版本,目前是5.5.0。http://lucene.apache.org/solr/downloads.html  2.linux下载tgz类型,windows系统下载solr-5.5.0.zip  3...
  • xiaodaiye
  • xiaodaiye
  • 2016-05-07 14:17
  • 2558

Solr6自定义mmseg4j中文分词库,升级mmseg4j

摘要: mmseg4j支持用户自定义词库,但是由于Solr6的API变到,使得mmseg4j无法使用自己的中文分词库,如果想使用这一功能,只能改源码了。mmseg4j 版本与其对应的Solr版本mmseg4j 1.8.3 只支持 lucene 2.9/3.0 接口 和 solr 1.4。 mms...
  • jiangchao858
  • jiangchao858
  • 2016-11-06 15:17
  • 1987

mmseg4j-core-1.10.0+mmseg4j-solr-2.3.0

  • 2016-10-20 18:55
  • 695KB
  • 下载

Solr6适配自定义升级版mmseg4j

摘要: 接上一篇,由于Solr6在使用mmseg4j中文分词时,Solr会出现getInstanceDir()的NoSuchMethodError异常,需要修改mmseg4j源码,使之兼容。如果还未配置好mmseg4j,请到Solr6配置中文分词库mmseg4j下载源码 开源地址:https://g...
  • jiangchao858
  • jiangchao858
  • 2016-11-09 22:28
  • 1526

mmseg4j-solr-2.2.0.jar mmseg4j-analysis-1.9.1.jar mmseg4j-solr-2.2.0.jar

  • 2015-01-25 09:42
  • 645KB
  • 下载

mmseg4j-1.8.5 .zip

  • 2016-05-07 17:52
  • 2.17MB
  • 下载

solr安装mmseg4j 分词器

1.下载资料    https://github.com/chenlb/mmseg4j-solr    注意版本: mmseg4j-solr-2.0.0.jar 要求 lucene/solr >= 4.3.0。在 lucene/solr...
  • allthesametome
  • allthesametome
  • 2015-07-15 15:16
  • 691

Solr配置中文分词器mmseg4j详解

针对solr的分词器比较多,其中最常用的的两个是mmseg4j和ik-analyzer,至于他们的区别可以网上查找比较下,这两个分词器都挺好用。我搭建的solr环境(上一篇)是4.10.3的最新版本,以下将详细说下mmseg4j的配置。 1.首先下载对应的jar包。 版本号一定要对应上否则可能会报错...
  • tjcyjd
  • tjcyjd
  • 2015-01-25 10:22
  • 12746

中文分词 mmseg4j-1.8框架

中文分词 mmseg4j-1.8 版发布 原文出处:http://blog.chenlb.com/2009/10/chinese-segment-mmseg4j-1_8-release.html 想发布新版的 mmseg4j 到现在已经有二个多月了。主要是因为这段时间忙其它事情了。现 Luc...
  • tony168hongweigan
  • tony168hongweigan
  • 2013-02-21 10:55
  • 508

mmseg4j-all-1.8.5-with-dic.jar

  • 2015-09-22 09:42
  • 689KB
  • 下载
    个人资料
    • 访问:2005343次
    • 积分:26144
    • 等级:
    • 排名:第259名
    • 原创:810篇
    • 转载:9篇
    • 译文:0篇
    • 评论:298条
    博客专栏
    Android

    文章:80篇

    阅读:231685
    Python

    文章:50篇

    阅读:33411
    搜索优化

    文章:21篇

    阅读:25445
    Nginx

    文章:17篇

    阅读:53079
    Dubbo

    文章:20篇

    阅读:41361
    JMS

    文章:13篇

    阅读:11238
    Netty

    文章:1篇

    阅读:1734
    Redis

    文章:18篇

    阅读:90661
    Memcached

    文章:9篇

    阅读:44869
    设计模式

    文章:22篇

    阅读:47844
    Mycat

    文章:20篇

    阅读:25143
    Web前端

    文章:22篇

    阅读:82006
    Linux

    文章:76篇

    阅读:219909
    JVM

    文章:15篇

    阅读:50316
    J2EE

    文章:74篇

    阅读:272616
    Java

    文章:153篇

    阅读:496292
    Hadoop生态

    文章:129篇

    阅读:195511
    MySQL

    文章:129篇

    阅读:255951
    最新评论