IK Analyzer 中文分词器---小试牛刀

最新推荐文章于 2021-09-06 10:43:56 发布

feea2

最新推荐文章于 2021-09-06 10:43:56 发布

阅读量109

点赞数

分类专栏： Lucene 文章标签： Java lucene 算法

Lucene 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

[size=medium]最近在跟着导师做一个有关短信过滤的大学生实践项目，之中用到了导师已经发表的关于中文语义分词的算法。一直听说Java开源社区的Lucene搜索很强大，很想研究一下。没想到意外收获到了IK Analyzer，中国人自己也的开源分词器，自己用了下，真的是很好很强大呀。对作者是由衷的钦佩啊！

看了他提供的API，写了个小例子试了，切词的精准度还是蛮高的。强力推荐。[/size]


import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.Reader;

import org.wltea.analyzer.IKSegmentation;
import org.wltea.analyzer.Lexeme;

public class SearchDemo {
	public static void main(String []args){
		Reader read= null;
		try {
			 read =new FileReader("D:/wz/workspace/SearchDemo/src/test.txt");
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		}
		IKSegmentation iks = new IKSegmentation(read);

		while(true){
			Lexeme lex=null;
			try {
				lex = iks.next();
				if(lex != null)
				System.out.print(lex.getLexemeText()+"|");
				if(lex == null)
					return;
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}

}