java lucene 分词器_Lucene系列四：Lucene提供的分词器、IKAnalyze中文分词器集成、扩展 IKAnalyzer的停用词和新词...

最新推荐文章于 2022-04-09 20:55:28 发布
最新推荐文章于 2022-04-09 20:55:28 发布
阅读量416 收藏
点赞数
文章标签： java lucene 分词器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31423955/article/details/114085115
版权

一、Lucene提供的分词器StandardAnalyzer和SmartChineseAnalyzer

1.新建一个测试Lucene提供的分词器的maven项目LuceneAnalyzer

f326d908deb3322acc6ac6cd2eead0a2.png

2. 在pom.xml里面引入如下依赖

org.apache.lucene

lucene-core

7.3.0

org.apache.lucene

lucene-analyzers-smartcn

7.3.0

3. 新建一个标准分词器StandardAnalyzer的测试类LuceneStandardAnalyzerTest

packagecom.luceneanalyzer.use.standardanalyzer;importjava.io.IOException;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lucene.analysis.TokenStream;importorg.apache.lucene.analysis.standard.StandardAnalyzer;importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;/*** Lucene core模块中的 StandardAnalyzer英文分词器使用

* 英文分词效果好，中文分词效果不好

*@authorTHINKPAD

**/

public classLuceneStandardAnalyzerTest {private static void doToken(TokenStream ts) throwsIOException {

ts.reset();

CharTermAttribute cta= ts.getAttribute(CharTermAttribute.class);while(ts.incrementToken()) {

System.out.print(cta.toString()+ "|");

}

System.out.println();

ts.end();

ts.close();

}public static void main(String[] args) throwsIOException {

String etext= "Analysis is one of the main causes of slow indexing. Simply put, the more you analyze the slower analyze the indexing (in most cases).";

String chineseText= "张三说的确实在理。";//Lucene core模块中的 StandardAnalyzer 英文分词器

try (Analyzer ana = newStandardAnalyzer();) {

TokenStream ts= ana.tokenStream("coent", etext);

System.out.println("标准分词器，英文分词效果：");

doToken(ts);

ts= ana.tokenStream("content", chineseText);

System.out.println("标准分词器，中文分词效果：");

doToken(ts);

}catch(IOException e) {

}

}

}

运行效果：

标准分词器，英文分词效果：

analysis|one|main|causes|slow|indexing|simply|put|more|you|analyze|slower|analyze|indexing|most|cases|标准分词器，中文分词效果：

张|三|说|的|确|实|在|理|

4. 新建一个Lucene提供的中文分词器SmartChineseAnalyzer的测试类

packagecom.luceneanalyzer.use.smartchineseanalyzer;importjava.io.IOException;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lucene.analysis.TokenStream;importorg.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;importorg.apache.lucene.analysis.standard.StandardAnalyzer;importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;/*** Lucene提供的中文分词器模块，lucene-analyzers-smartcn:Lucene 的中文分词器 SmartChineseAnalyzer

* 中英文分词效果都不好

*

*@authorTHINKPAD

**/

public classLuceneSmartChineseAnalyzerTest {private static void doToken(TokenStream ts) throwsIOException {

ts.reset();

CharTermAttribute cta= ts.getAttribute(CharTermAttribute.class);while(ts.incrementToken()) {

System.out.print(cta.toString()+ "|");

}

System.out.println();

ts.end();

ts.close();

}public static void main(String[] args) throwsIOException {

String etext= "Analysis is one of the main causes of slow indexing. Simply put, the more you analyze the slower analyze the indexing (in most cases).";

String chineseText= "张三说的确实在理。";//Lucene 的中文分词器 SmartChineseAnalyzer

try (Analyzer smart = newSmartChineseAnalyzer()) {

TokenStream ts= smart.tokenStream("content", etext);

System.out.println("smart中文分词器，英文分词效果：");

doToken(ts);

ts= smart.tokenStream("content", chineseText);

System.out.println("smart中文分词器，中文分词效果：");

doToken(ts);

}

}

}

运行效果：

smart中文分词器，英文分词效果：

analysi|is|on|of|the|main|caus|of|slow|index|simpli|put|the|more|you|analyz|the|slower|analyz|the|index|in|most|case|smart中文分词器，中文分词效果：

张|三|说|的|确实|在|理|

二、IKAnalyze中文分词器集成

IKAnalyzer是开源、轻量级的中文分词器，应用比较多

最先是作为lucene上使用而开发，后来发展为独立的分词组件。只提供到Lucene 4.0版本的支持。我们在4.0以后版本Lucene中使用就需要简单集成一下。

需要做集成，是因为Analyzer的createComponents方法API改变了

IKAnalyzer提供两种分词模式：细粒度分词和智能分词

集成步骤

1、找到 IkAnalyzer包体提供的Lucene支持类，比较IKAnalyzer的createComponets方法。

ebc3ae5f499cfbab8b969d98a0c425f7.png

4.0及之前版本的createComponets方法：

@Overrideprotected TokenStreamComponents createComponents(String fieldName, finalReader in) {

Tokenizer _IKTokenizer= new IKTokenizer(in, this.useSmart());return newTokenStreamComponents(_IKTokenizer);

}

最新的createComponets方法：

protected abstract TokenStreamComponents createComponents(String fieldName);

2、照这两个类，创建新版本的， 类里面的代码直接复制，修改参数即可。

下面开始集成：

1.新建一个maven项目IkanalyzerIntegrated

2a55d7752ad4eac309f8bc70c8ca63b6.png

2. 在pom.xml里面引入如下依赖

org.apache.lucene

lucene-core

7.3.0

com.janeluo

ikanalyzer

2012_u6

org.apache.lucene

lucene-core

org.apache.lucene

lucene-queryparser

org.apache.lucene

lucene-analyzers-common

3. 重写分析器

packagecom.study.lucene.ikanalyzer.Integrated;importorg.apache.lucene.analysis.Analyzer;/*** 因为Analyzer的createComponents方法API改变了需要重新实现分析器

*@authorTHINKPAD

**/

public class IKAnalyzer4Lucene7 extendsAnalyzer {private boolean useSmart = false;publicIKAnalyzer4Lucene7() {this(false);

}public IKAnalyzer4Lucene7(booleanuseSmart) {super();this.useSmart =useSmart;

}public booleanisUseSmart() {returnuseSmart;

}public void setUseSmart(booleanuseSmart) {this.useSmart =useSmart;

}

@OverrideprotectedTokenStreamComponents createComponents(String fieldName) {

IKTokenizer4Lucene7 tk= new IKTokenizer4Lucene7(this.useSmart);return newTokenStreamComponents(tk);

}

}

4. 重写分词器

packagecom.study.lucene.ikanalyzer.Integrated;importjava.io.IOException;importorg.apache.lucene.analysis.Tokenizer;importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;importorg.apache.lucene.analysis.tokenattributes.OffsetAttribute;importorg.apache.lucene.analysis.tokenattributes.TypeAttribute;importorg.wltea.analyzer.core.IKSegmenter;importorg.wltea.analyzer.core.Lexeme;/*** 因为Analyzer的createComponents方法API改变了需要重新实现分词器

*@authorTHINKPAD

**/

public class IKTokenizer4Lucene7 extendsTokenizer {//IK分词器实现

privateIKSegmenter _IKImplement;//词元文本属性

private finalCharTermAttribute termAtt;//词元位移属性

private finalOffsetAttribute offsetAtt;//词元分类属性(该属性分类参考org.wltea.analyzer.core.Lexeme中的分类常量)

private finalTypeAttribute typeAtt;//记录最后一个词元的结束位置

private intendPosition;/***@paramin

*@paramuseSmart*/

public IKTokenizer4Lucene7(booleanuseSmart) {super();

offsetAtt= addAttribute(OffsetAttribute.class);

termAtt= addAttribute(CharTermAttribute.class);

typeAtt= addAttribute(TypeAttribute.class);

_IKImplement= newIKSegmenter(input, useSmart);

}/** (non-Javadoc)

*

* @see org.apache.lucene.analysis.TokenStream#incrementToken()*/@Overridepublic boolean incrementToken() throwsIOException {//清除所有的词元属性

clearAttributes();

Lexeme nextLexeme=_IKImplement.next();if (nextLexeme != null) {//将Lexeme转成Attributes//设置词元文本

termAtt.append(nextLexeme.getLexemeText());//设置词元长度

termAtt.setLength(nextLexeme.getLength());//设置词元位移

offsetAtt.setOffset(nextLexeme.getBeginPosition(),

nextLexeme.getEndPosition());//记录分词的最后位置

endPosition =nextLexeme.getEndPosition();//记录词元分类

typeAtt.setType(nextLexeme.getLexemeTypeString());//返会true告知还有下个词元

return true;

}//返会false告知词元输出完毕

return false;

}/** (non-Javadoc)

*

* @see org.apache.lucene.analysis.Tokenizer#reset(java.io.Reader)*/@Overridepublic void reset() throwsIOException {super.reset();

_IKImplement.reset(input);

}

@Overridepublic final voidend() {//set final offset

int finalOffset = correctOffset(this.endPosition);

offsetAtt.setOffset(finalOffset, finalOffset);

}

}

5. 新建一个IKAnalyzer的测试类IKAnalyzerTest

packagecom.study.lucene.ikanalyzer.Integrated;importjava.io.IOException;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lucene.analysis.TokenStream;importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;/*** IKAnalyzer分词器集成测试:

* 细粒度切分：把词分到最细

* 智能切分：根据词库进行拆分符合我们的语言习惯

*

*@authorTHINKPAD

**/

public classIKAnalyzerTest {private static void doToken(TokenStream ts) throwsIOException {

ts.reset();

CharTermAttribute cta= ts.getAttribute(CharTermAttribute.class);while(ts.incrementToken()) {

System.out.print(cta.toString()+ "|");

}

System.out.println();

ts.end();

ts.close();

}public static void main(String[] args) throwsIOException {

String etext= "Analysis is one of the main causes of slow indexing. Simply put, the more you analyze the slower analyze the indexing (in most cases).";

String chineseText= "张三说的确实在理。";/*** ikanalyzer 中文分词器 因为Analyzer的createComponents方法API改变了 需要我们自己实现

* 分析器IKAnalyzer4Lucene7和分词器IKTokenizer4Lucene7*/

//IKAnalyzer 细粒度切分

try (Analyzer ik = newIKAnalyzer4Lucene7();) {

TokenStream ts= ik.tokenStream("content", etext);

System.out.println("IKAnalyzer中文分词器 细粒度切分，英文分词效果：");

doToken(ts);

ts= ik.tokenStream("content", chineseText);

System.out.println("IKAnalyzer中文分词器 细粒度切分，中文分词效果：");

doToken(ts);

}//IKAnalyzer 智能切分

try (Analyzer ik = new IKAnalyzer4Lucene7(true);) {

TokenStream ts= ik.tokenStream("content", etext);

System.out.println("IKAnalyzer中文分词器 智能切分，英文分词效果：");

doToken(ts);

ts= ik.tokenStream("content", chineseText);

System.out.println("IKAnalyzer中文分词器 智能切分，中文分词效果：");

doToken(ts);

}

}

}

运行结果：

IKAnalyzer中文分词器 细粒度切分，英文分词效果：

analysis|is|one|of|the|main|causes|of|slow|indexing.|indexing|simply|put|the|more|you|analyze|the|slower|analyze|the|indexing|in|most|cases|IKAnalyzer中文分词器 细粒度切分，中文分词效果：

张三|三|说的|的确|的|确实|实在|在理|IKAnalyzer中文分词器 智能切分，英文分词效果：

analysis|is|one|of|the|main|causes|of|slow|indexing.|simply|put|the|more|you|analyze|the|slower|analyze|the|indexing|in|most|cases|IKAnalyzer中文分词器 智能切分，中文分词效果：

张三|说的|确实|在理|

三、扩展 IKAnalyzer的停用词和新词

扩展 IKAnalyzer的停用词

1、在类目录下创建IK的配置文件：IKAnalyzer.cfg.xml

2、在配置文件中增加配置扩展停用词文件的节点： my_ext_stopword.dic 如有多个，以“;”间隔

IK Analyzer 扩展配置

my_ext_stopword.dic

3、在类目录下创建我们的扩展停用词文件 my_ext_stopword.dic，编辑该文件加入停用词，一行一个

4dbc5e581a6bcc96c4756f3f1da93658.png

4、目录结构如下：

963fbb8180ee583e65b02862e049e16e.png

5.新建测试类ExtendedIKAnalyzerDicTest.java

packagecom.study.lucene.ikanalyzer.Integrated.ext;importjava.io.IOException;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lucene.analysis.TokenStream;importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;importcom.study.lucene.ikanalyzer.Integrated.IKAnalyzer4Lucene7;/*** 扩展 IKAnalyzer的词典测试

*

**/

public classExtendedIKAnalyzerDicTest {private static void doToken(TokenStream ts) throwsIOException {

ts.reset();

CharTermAttribute cta= ts.getAttribute(CharTermAttribute.class);while(ts.incrementToken()) {

System.out.print(cta.toString()+ "|");

}

System.out.println();

ts.end();

ts.close();

}public static void main(String[] args) throwsIOException {

String chineseText= "厉害了我的国一经播出，受到各方好评，强烈激发了国人的爱国之情、自豪感！";//IKAnalyzer 细粒度切分

try (Analyzer ik = newIKAnalyzer4Lucene7();) {

TokenStream ts= ik.tokenStream("content", chineseText);

System.out.println("IKAnalyzer中文分词器 细粒度切分，中文分词效果：");

doToken(ts);

}//IKAnalyzer 智能切分

try (Analyzer ik = new IKAnalyzer4Lucene7(true);) {

TokenStream ts= ik.tokenStream("content", chineseText);

System.out.println("IKAnalyzer中文分词器 智能切分，中文分词效果：");

doToken(ts);

}

}

}

运行结果：

未加停用词之前：

75fccdc6eecc8d8417ec13fb0dc13fe7.png

加停用词之后：

ab59abcd054c382e54c31a8ec424ab2d.png

扩展 IKAnalyzer的新词：

1、在类目录下IK的配置文件：IKAnalyzer.cfg.xml 中增加配置扩展词文件的节点： ext.dic 如有多个，以“;”间隔

IK Analyzer 扩展配置

ext.dic

my_ext_stopword.dic

2、在类目录下创建扩展词文件 ext.dic，编辑该文件加入新词，一行一个

c1e040f816b53a64cd74acc4f72da2ed.png

3、目录结构如下：

0fc819be0c308fd06d582d5a39213ce2.png

4.运行前面的测试类测试类ExtendedIKAnalyzerDicTest.java查看运行效果

运行结果：

未加新词之前：

7cb853bf758b1815dd316fc552e37ac6.png

加新词之后：

5744996f959bf6c64081b319a1756bb4.png

源码获取地址：

https://github.com/leeSmall/SearchEngineDemo

戈玄白今天要做题
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lucene-analyzers-smartcn-7.7.0-API文档-中文版.zip
07-13
赠送jar包：lucene-analyzers-smartcn-7.7.0.jar； 赠送原API文档：lucene-analyzers-smartcn-7.7.0-javadoc.jar； 赠送源代码：lucene-analyzers-smartcn-7.7.0-sources.jar； 赠送Maven依赖信息文件：lucene-analyzers-smartcn-7.7.0.pom； 包含翻译后的API文档：lucene-analyzers-smartcn-7.7.0-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.lucene:lucene-analyzers-smartcn:7.7.0； 标签：apache、lucene、analyzers、smartcn、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
Lucene 实例教程(二)之IKAnalyzer中文分词器
热门推荐
永恒の_☆
08-24 2万+
一、前言        前面简单介绍了Lucene，以及如何使用Lucene将索引 写入内存，地址：http://blog.csdn.net/chenghui0317/article/details/10052103        但是其中出现很多问题，具体如下：        1、使用IndexWriter 写入的索引全部是放在内存中的，一旦程序挂了 也就什么都没有了，并且如果生成
solr7.7.1加ik中文分词安装笔记
weixin_34221112的博客
03-21 186
1、准备工作 到官网下载个jdk8安装上去 [root@Track2 solr]# rpm -ivh jdk-8u121-linux-x64.rpm Preparing... ################################# [100%] Updating / installing... 1:jdk1.8.0_121-20...
IK分词器
weixin_42243889的博客
04-09 560
1 IK分词器有两种分词模式 ik_max_word：会将文本做最细粒度的拆分 ik_smart模式：会做最粗粒度的拆分 2 扩展词典使用 2.1 自定义扩展词库 vim lagou_ext_dict.dic (插入江大桥) 2.1.2 添加到 IKAnalyzer.cfg.xml 文件中 2.2 自定义停词库 2.2.1 vim lagou_stop_dict.dic 2.2.2 添加到 IKAnalyzer.cfg.xml 文件中 2.3 同义词 2.3.1 vim synonym.txt
我的架构演化笔记 9：ElasticSearch的分词器IK Analyzer动态添加分词
weixin_34184158的博客
06-09 449
2019独角兽企业重金招聘Python工程师标准>>> ...
全文检索技术_IK分词器7.7.1版本的安装
赵利文的CSDN博客
06-16 536
1. 在linux系统中，首先将将IK分词器下载下来 wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.1/elasticsearch-analysis-ik-7.7.1.zip 将文件加压到Elasticsear安装目录的plugin/analysis-ik下 unzip elasticsearch-analysis-ik-7.7.1.zip -d /usr/share/elasticsearch
JAVA_WEB项目之Lucene使用中文分词器IKAnalyzer3.2.8
陈楚东的专栏-学编程切记心浮气躁，贵在坚持
07-24 2463
上一篇介绍了JAVA_WEB项目之Lucene检索框架中的IndexWriter、IndexSearch优化
java lucene 中文分词_Lucene的中文分词器IKAnalyzer
weixin_39882271的博客
02-16 438
分词器对英文的支持是非常好的。一般分词经过的流程：1)切分关键词2)去除停用词3)把英文单词转为小写但是老外写的分词器对中文分词一般都是单字分词，分词的效果不好。国人林良益写的IK Analyzer应该是最好的Lucene中文分词器之一，而且随着Lucene的版本更新而不断更新，目前已更新到IK Analyzer 2012版本。IK Analyzer是一个开源的，基于java语言开发的轻量级的中文...
java将英语单词进行词性分类排序_史上最全讲解，必须牢记的英语十类词性分类及用法！（上）...
weixin_39711914的博客
02-17 548
原标题：史上最全讲解，必须牢记的英语十类词性分类及用法！(上)英语语法最最基础的就是词性了！！因为后续的各种时态变化、从句很多的考点都是结合词性才产生的！要想学好语法，那就一定要打牢词性这个基础！我们总结整理了英语常考十类词性的详解+用法+考点，这个很有必要收藏起来！觉得有用，就转发给身边的小伙伴吧！开学季，大家都学起来吧！一、词性的分类词类又叫词性，英语单词根据其在句子中的功用，可以分成十个大类...
java lucene 中文分词_lucene之中文分词及其高亮显示(五)
weixin_39809168的博客
02-13 163
中文分词：即换个分词器Analyzer analyzer = new StandardAnalyzer();// 标准分词器 换成SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer();//要加入lucene-analyzers-common-5.3.1.jarpackagecom.wp.lucene;importjava.nio...
java单独整合ikanalyzer中文分词器提取关键字及动态拓展词库并兼容lucene高版本
09-27
java单独整合ikanalyzer中文分词器提取关键字及动态拓展词库并兼容lucene高版本
IKAnalyzer中文分词器支持Lucene6.0以上
09-13
提示：IKAnalyzer中文分词器支持Lucene6.0以上，IKAnalyzer中文分词器支持Lucene6.0以上。
适合Lucene5.x的IKAnalyzer-5.0分词器的jar包
08-26
适合Lucene5.x的IKAnalyzer-5.0分词器的jar包,重写了前面版本的IKAnalyzer，我已经试过，可以使用。
lucene中文分词器Jceseg和IK Analyzer使用示例
05-09
lucene中文分词器Jceseg和IK Analyzer使用示例,lucene5可以使用，本人亲测成功，大家放心用，喜欢lucene的人大家关注我的博客 http://blog.csdn.net/wuyinggui10000/article/category/3173543 大家共同交流，有需要...
IKAnalyzer分词器 下载IKAnalyzer2012FF_u1.jar
01-12
IKAnalyzer分词器版本 2012 兼容Lucene3.3以上版本 对solr1.4提供接口实现 使用IK分词器，应为该集群使用到的solr版本为4.10.3-cdh5.7.5，所以使用的 IK 包为IKAnalyzer2012FF_u1.jar，如果是3x的solr，使用IK...
node-v8.15.0-linux-s390x.tar.xz
最新发布
05-06
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Java基础知识总结(超详细整理).txt
05-06
Java基础知识总结(超详细整理)
ISO IEC 27021-2017 信息技术.安全技术.信息安全管理系统专业人员的能力要求.pdf
05-06
ISO IEC 27021-2017 信息技术.安全技术.信息安全管理系统专业人员的能力要求.pdf
2024年中国DFB激光器芯片行业研究报告.docx
05-06
2024年中国DFB激光器芯片行业研究报告
org.wltea.analyzer.lucene.IKAnalyzer maven
05-24
你可以通过以下 Maven 依赖来引入 IKAnalyzer： ```xml <groupId>org.wltea <artifactId>analyzer <version>IK-Analyzer-2012FF ``` 注意，这里使用的是 IKAnalyzer 的 2012FF 版本。你也可以根据自己的需求...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值