IK分词中文分词使用-java

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cJune/article/details/89645718

前言

最近写的一个功能是筛选句子的词汇,并统计出现最多的词汇,所以用到了IK分词下面简单介绍一下.

内容

第一点: 简单介绍一下

第二点: 引入jar包

<dependency>
    <groupId>com.janeluo</groupId>
    <artifactId>ikanalyzer</artifactId>
    <version>2012_u6</version>
</dependency>
<dependency>
    <groupId>org.apache.lucene</groupId>
    <artifactId>lucene-core</artifactId>
    <version>4.7.2</version>
</dependency>

第三点: 扩展配置取消停用词

需要建立一个进行扩展的xml
文件名: IKAnalyzer.cfg.xml
内容:

<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">ext.dic;</entry> 
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">stopword.dic;</entry> 

`
在这里插入图片描述
取消停用词部分,只需要在加入一个与配置名字相同的文本文档即可里面写好需要停用的词汇
在这里插入图片描述
写停用词的格式
在这里插入图片描述

第四点:进行分词

在这里插入图片描述

package com.haha.test;
 
import java.io.IOException;
import java.io.StringReader;
 
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
 
public class Test3 {
	
	public static void main(String[] args) throws IOException {
		String text="基于java语言开发的轻量级的中文分词工具包";
		StringReader sr=new StringReader(text);
		IKSegmenter ik=new IKSegmenter(sr, true);
		Lexeme lex=null;
		while((lex=ik.next())!=null){
			System.out.print(lex.getLexemeText()+"|");
		}
	}
 
}

其他

如果觉得不能理解或者需要例子可以直接下载资源之后上传…

小结
感谢您的阅读~~
展开阅读全文

没有更多推荐了,返回首页