ik分词器在实际开发中也是较为常用,今天就简单写个工具类,在用到的时候直接使用即可.
(1)创建工程引入依赖(在你需要用到看分词器的模块中引用)
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>2012_u6</version>
</dependency>
(2)编写工具类
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
import java.io.IOException;
import java.io.StringReader;
/**
* 分词工具
* @author: agu000
* 根据文本返回分词后的文本
*/
public class IkUtil {
// string content 要分词的内容
// string splitChar 每个词这样分割 我用空格分割
public static String split(String content , String splitChar ) throws IOException {
StringReader reader = new StringReader(content);
IKSegmenter ikSegmenter = new IKSegmenter(reader,true);
StringBuffer stringBuffer = new StringBuffer("");
Lexeme lex = null ;
while ((lex = ikSegmenter.next())!=null ){
stringBuffer.append(lex.getLexemeText()+splitChar);
}
return stringBuffer.toString() ;
}
// 测试
public static void main(String[] args) throws IOException {
System.out.println(split("基于java语言开发的轻量级的中文分词工具包超级好用哦,快来和我一起学习一下吧!"," "));
}
}
控制台显示结果 :
基于 java 语言 开发 的 轻量级 的 中文 分词 工具包 超级 好用 哦 快来 和我 一起 学习 一下 吧
好了,今天的工具类就到这里了,欢迎在评论区留言,说说你的看法.