ICTCLAS2011中文分词在java的web项目中的使用

最新推荐文章于 2021-02-27 12:34:16 发布

caimo

最新推荐文章于 2021-02-27 12:34:16 发布

阅读量1w

点赞数

分类专栏： Java学习文章标签： java web myeclipse tomcat servlet

本文链接：https://blog.csdn.net/caimo/article/details/7686872

版权

Java学习专栏收录该内容

8 篇文章

订阅专栏

ICTCLAS2011中文分词在java的web项目中的使用

本文包括（myeclipse与tomcat的整合过程、配置该中文分词到web项目运行过程）

2011版附件下载：http://download.csdn.net/detail/caimo/7012941

由于ICTCLAS4版本出现split错误：

java.lang.ArrayIndexOutOfBoundsException:-1

at SegResult segResult = segTag.split(s);

at String classifyContent2 =ansmine.AbstracttoString(question, segTag);

…

因为在纯java环境完全可以运行，而放在myeclipse的web项目下面进行tomcat部署却各种错误，在修改ICTCLAS源文件的各种小bug之后还是如此。于是想到了可能是字符编码导致的字符分割异常，最终想到了ICTCLAS4只支持GB2312编码。而web项目是UTF-8格式的，并且，网站项目用了MYSQL，这个中文不乱码，也用了utf-8，不可能全部改为GB2312，于是，在ICTCLAS官方网站上（http://ictclas.org/ictclas_download.aspx）找到了ICTCLAS2011版（官网下载：ICTCLAS2011_Windows_32_jni），该版本支持utf-8编码。

但是这个版本已经不完全是代码，已经封装成了JNI调用了。

初探ICTCLAS2011

解压下载的ICTCLAS2011.rar得到以下目录

其中API就是ICTCLAS分词调用库。

下面sample目录我们可以非常简单的知道这个API是如何调用的。

进入该目录，看到这个目录已经完全拷贝了那个API文件夹。可以看下readme.txt：

(一)windows下的JNI接口使用

1.安装jdk,设置JAVA环境变量

2.确定工程目录下有有效的授权文件user.lic

3.点击桌面开始->运行，键入cmd进入dos界面的命令行

4.进入到工程所在目录

>cd E:\Project\IctClas_jni_demo

>e:

6.编译 javac TestMain.java

7.执行 java TestMain

安装好java，并设置好环境变量，其实就可以用javac编译TestMain.java，然后就可以运行TestMain了，结果是：

我们看到下面一行已经分好了词。

并且查看test_result.txt和testing_result.txt可以看到也已经根据test.txt分好词了。

注意到导入了用户词典userdict.txt之后分词结果已经受到影响。

研究一下TestMain.java就可以在自己的项目中运用了。下面TestMain.java：

import ICTCLAS.I3S.AC.ICTCLAS50;

import java.util.*;

import java.io.*;

导入了ICTCLAS分词库。

注意到里面的2个函数，一个是对字符串处理然后得到分词后的字符串test ICTCLAS_ParagraphProcess，一个是对文件输入输出testICTCLAS_FileProcess。本人用了第一个函数来处理分词。那么就看一下如何在web中调用吧。

在web项目中使用ICTCLAS中文分词

在myeclipse中创建web项目为QAsystem，那么将ICTCLAS的API目录中的ICTCLAS文件夹拷贝到src目录下（ctrl+v粘贴到工程src即可），然后把DATA和其他的文件放到根目录下面即可。

下面在com.gzqa.server包下建一个servlet，然后修改webroot\webinf下的web.xml，配置好servlet。

再新建一个Test.java，

import ICTCLAS.I3S.AC.ICTCLAS50;

然后把ICTCLAS自带的testMain.java中的一个字符串处理函数ParagraphProcess放到test.java中作为成员函数。

然后在servlet中调用该类的方法，就可以通过tomcat的环境运行中文分词程序了。

（其实不做servlet的话，ICTCLAS自带的testMain.java就可以拿来用了。这里是为了在tomcat下运行，因为之前本人一直搞不清楚到底ICTCLAS自带的那些DATA和ICTCLASS50.DLL等等文件放在哪里，经过测试，图左2和3所有文件，只能放在TOMCAT7.0的bin目录下）

更重要的是，把2DATA和3其他文件放到tomcat的bin目录下。