搜索引擎：solr--搭建和分析中文分词器。下（jcseg和ICTCLAS）

1：jcseg是使用Java开发的一个开源的中文分词器，使用流行的mmseg算法实现。是一款独立的分词组件，不是针对lucene而开发，但是提供了最新版本的lucene和solr分词接口。

下载最新版本的jcseg。。http://pan.baidu.com/s/1pJFNBmV 解压

在output目录下有分词所需要的jar包

1：把jcseg-core-1.9.5.jar, jcseg-solr-1.9.5.jar 导入lib中

2：将jcseg词库添加到 lib目录中及将jcseg目录中lexicon目录拷贝

这里要注意：默认放在lib目录下，否则报错。

可以更改引入词库：通过反编译jcseg-core-1.9.5.jar文件。可以发现jcseg.properties配置文件。jcseg.properties中 lexicon.path的值就是词库文件的绝对路径。

最后还是在schema.xml文件中追加

<!--jcseg分词 -->
<fieldType name="text_jcseg" class="solr.TextField">
<analyzer>
<!-- 复杂模式分词: -->
<tokenizer class="org.lionsoul.jcseg.solr.JcsegTokenizerFactory" mode="complex"/>
</analyzer>
</fieldType>

重启服务：

1：ICTCLAS 名：汉语词法分析系统； 由中科院开发。

全方位支持各种环境下的应用开发

ICTCLAS全部采用C/C++编写，支持Linux 及Windows系列操作系统，支持C/C++/C#/Delphi/Java等主流的开发语言。

这个分词包是收费的。官方吹的很NB。确实，其对中文分词这一块无法挑剔。

但是对于java web项目来讲，除非特定场景业务下。不推荐使用。而且全部用的DLL，和java结合不好。。上家公司用过一次ICTCLAS 。分词。。本人发现ICTCLAS处理特殊形式存在的数据时，存在bug。一但出现那种特殊格式的数据，ICTCLAS 报错。直接停止web 容器。