IKAnalyzer中文分词，计算句子相似度 - 两只蜗牛 - 关注生活，关注旅游 - 开源

最新推荐文章于 2024-02-05 13:15:00 发布

luoyatian0522

最新推荐文章于 2024-02-05 13:15:00 发布

阅读量903

点赞数

本文链接：https://blog.csdn.net/luoyatian0522/article/details/45845261

版权

本文介绍了IKAnalyzer，一个基于Java的中文分词工具，它提供了对Lucene的优化实现。文章展示了使用IKAnalyzer进行分词的代码，并讲解了基于语义和词序的句子相似度计算方法，包括语义向量和词序向量的构建及相似度计算。还提供了一个简单的测试示例，展示相似度计算的结果。

摘要由CSDN通过智能技术生成

IKAnalyzer中文分词，计算句子相似度一、简介

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。独立于Lucene项目，同时提供了对Lucene的默认优化实现。（简介来源：百度百科）

二、准备

项目结构：

IKAnalyzer2012FF_u1.jar 下载

lucene-core-4.6.1.jar 下载

ext.dic

stopword.dic

IKAnalyzer.cfg.xml

三、分词

分词由于比较简单，就直接粘贴代码了

public static Vector<String> participle( String str ) { Vector<String> str1 = new Vector<String>() ;//对输入进行分词 try { StringReader reader = new StringReader( str ); IKSegmenter ik = new IKSegmenter(reader,true);//当为true时，分词器进行最大词长切分 Lexeme lexeme = null ; while( ( lexeme = ik.next() ) != null ) { str1.add( lexeme.getLexemeText() ); } if( str1.size() == 0 ) { return null ; } //分词后 System.out.println( "str