动态扩展IK分词器

最新推荐文章于 2023-10-31 10:02:42 发布
最新推荐文章于 2023-10-31 10:02:42 发布
阅读量639 收藏 4
点赞数
文章标签： 中文分词器 IKAnalyzer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hpluvalbe/article/details/103164387
版权
本文介绍了如何动态删除IK分词器的全部词语。只需在src目录下创建org.wltea.analyzer.dic文件夹，放入名为main2012.dic的空文件，文件名需对应IK分词器的dic文件。此外，quantifer.dic文件存储量词信息。
摘要由CSDN通过智能技术生成

动态扩展IK分词器


IK分词器可以扩展词典，但是网上搜到的结果大多是在某个包下放一个文件，文件中存放各种各样的词语，也就是静态的扩展，一旦项目启动就无法在进行扩展。有时候静态的扩展无法满足工作需要，通过查看源码可以发现有一个名为Dictionary的类，这个类是一个单例模式，其中包含了动态添加和删除词典的功能。以下是工具类代码： 

package com.lsp.util;

import java.util.ArrayList;
import java.util.List;

import org.wltea.analyzer.cfg.Configuration;
import org.wltea.analyzer.cfg.DefaultConfig;
import org.wltea.analyzer.dic.Dictionary;

/**
	操作IK分词器的词典
	建议：已经使用Lucene做过存储后就不要再添加或者删除词典中的词了，会出现找不到以前的数据的情况
*/
public
最低0.47元/天 解锁文章
停止的人间花火
关注
SpringBoot拓展IK远程动态词典（可以定义拓展）
hk1360154205的博客
01-29 844
自定义字典控制器     首先新建一个控制器用来处理Rest请求的添加删除词典，以及查询词典。 package com.topcom.test.es.controller; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.*; import javax.annotation.PostConstruct; import javax.se
基于ik动态词库分词实现--无需重启服务
11-09
基于ik动态词库分词实现--无需重启服务
elasticsearch - ik 动态分词管理
面朝大海，春暖花开
04-16 936
elasticsearch - ik动态分词管理 场景 对于抓取的资讯，有些敏感词需要屏蔽，但有些词又是新的词，放在 es 中可能搜索不到，或者需要先中入分词字典，重新启动服务 解决方案 通过 es 的远程获取字典方式， 这里使用 ik 中文分词 ik 分词 地址： 安装ik 中文分词， 安装略 动态地址配置 xiao@z:/opt/soft/lib/dc/es$ cat plugins/ik/config/IKAnalyzer.cfg.xml <?xml version="1.0" encodin
elasticsearch ik 分词器动态词典
qq_34304427的博客
03-16 6679
环境准备 docker 安装的 es，并且安装了 ik 分词器 docker 安装的 kibana docker 安装的 nginx 如果以上软件未安装，可以移步以下教程： docker 安装 nginx 代理服务器，并实简单的 html 服务器，和数据卷 docker 安装 es + kibana + ik IK 分词器配置文件 ik 分词器是默认支持远程词典和热跟新的 我们打开 分词器的配置文件，可以看到以下内容 配置文件路径：plugins/ik/config/IKAnalyzer.cfg.
Elasticsearch 7.X 中文分词器 ik 使用，及词库的动态扩展
justlpf的专栏
10-31 872
分片和水平扩容，前面再使用的时候应该就会发现，在做match 匹配时，默认会进行分词，但当查询内容是中文时，分词效果是一个字被认定了一个词，这显然不符合我们对中文分词的效果，因此本篇我们讲解下ES中中文分词器ik 的使用。上面已经实现了动态词库的效果，上面使用的都是直接使用分词器进行测试的，在实际使用中不可能这样做的，都是去查询数据的，所以这里就会出现一个问题。注意更新索引，会影响线上的es的 qps，尽量选择夜深人静的时候进行更新。此时就实现了，无需重启es，热更新词库的效果了。
Lucene使用IKAnalyzer动态扩展词库
09-24 1200
Luncene版本3.6.0 IKAnalyzer 版本2012_u6 最近在使用Luncene+IKAnalyzer做全文检索遇到了IKAnalyzer分词不能满足要求。通过查找资源发现有很多种方式可以扩展字典，下面我来介绍一下这两种方式： 第一种方式： 通过配置文件来扩展字典 在ｓｒｃ下面建立IKAnalyzer.cfg.xml xml version="1.0" enco
ik分词器7.17.10
06-19
- **智能分析**：ik分词器采用动态词库加载机制，能根据上下文环境进行词语切分，提高分词准确性。 - **高性能**：ik分词器采用多线程并行处理，提高了分词效率，降低了系统负载。 - **扩展性**：ik分词器支持扩展...
ik分词器tar包 7.10.2
03-03
3. **动态扩展**：IK分词器具备动态扩展词能力，能够在遇到未登录词时尝试通过词根和词缀规则进行分词。 4. **多线程支持**：为了提升效率，IK分词器支持多线程处理，可以在高并发环境下保持高性能。 5. **配置...
elasticsearch7.8.0版本的IK分词器
12-30
3. **动态词典加载**: 在运行时，IK 分词器支持动态加载和更新词典，无需重启服务即可生效，这在应对词汇变化快速的环境中有很大优势。 4. **智能分析**: IK 分词器内置了基于词频的智能分析算法，可以根据词频自动...
Ikanalyzer分词器动态自定义词库的方法.doc
03-08
Ikanalyzer分词器动态自定义词库的方法.doc
IK分词器elasticsearch-analysis-ik-7.17.16
最新发布
12-24
8. **config**：这个目录可能包含了IK分词器的配置文件，如`IKAnalyzer.cfg.xml`，用户可以在这里自定义分词规则和扩展词典。 **IK分词器的特点** 1. **高性能**：IK分词器采用高效的分词算法，能快速处理大量文本...
Ikanalyzer分词器动态自定义词库的方法
fatpanda的专栏
07-17 4243
IKanalyzer可通过配置Ikanalyzer.cfg.xml进行自定义词库，但有时在程序中需要动态进行
IK中文分词扩展自定义词典！！！
热门推荐
iamaboyy的专栏
05-15 1万+
1.基于分布式系统的自定义分词要求与流程设计   （见图）E:\plan\readingnote\分词与索引\分词\2012-4-20 2.分词实现原理——词典的加载过程   2.1.分词词典的加载过程涉及到3个类，分别是Configuration类，Directory类，以及DictSegment类。 其中前两个类是获得配置文件，获得分词词典的，为词典内容的加载做准备
ik分词器配置自定义词典+追加写入文件
weixin_43627706的博客
11-24 1105
首先找到 elasticsearch-7.9.2\plugins\elasticsearch-analysis-ik-7.9.2\config目录 打开IKAnalyzer.cfg.xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK A
JAVA 中配置IKAnalyzer扩展词库和停止词库
weixin_30438813的博客
12-12 323
1、后缀名.dic的词典文件，必须如使用文档里所说的 无BOM的UTF-8编码保存的文件。如果不确定什么是 无BOM的UTF-8编码，最简单的方式就是 用Notepad++编辑器打开，Encoding->选择 Encoding in UTF-8 without BOM，然后保存。2、项目preferences 里 编码选择 utf8。3、词典和IKAnalyzer.cfg.xml配置文件的路...
Lucene入门级笔记五 -- 分词器，使用中文分词器，扩展词库，停用词 .
海子技术专区
10-24 146
1. 常见的中文分词器有：极易分词的(MMAnalyzer) 、"庖丁分词"分词器(PaodingAnalzyer)、IKAnalyzer 等等。其中 MMAnalyzer 和 PaodingAnalzyer 不支持 lucene3.0及以后版本。    使用方式都类似，在构建分词器时      Analyzer analyzer = new [My]Analyzer();      ...
IKAnalyzer词典扩充
u012334071的专栏
06-15 6740
IKAnalyzer词典扩充最近工作使用到lucene，需要对中文分词，分词器是IKAnalyzer，自带的词典包含了27万词条，能满足一般的分词要求，但是如果应用到特定的专业领域，还需要扩展专业词库，以达到更好的分词效果：IKAnalyzer词典扩充 IKAnalyzer分词API 智能分词 最细粒度切分 词库扩展 通过配置文件扩展词典 通过API扩展词典IKAnalyzer分词API
solr整合IKAnalyzer后动态添加词汇不需要重启解决方案
zpc15200790194的专栏
12-08 2039
当Lucene整合IKAnalyzer时，可以使用IKAnalyzer提供的API动态的添加词汇，并且不需要重启，但是使用solr时，在客户端(即使用solrj)也无法获得IK实例，所以在客户端向动态的添加词汇，可能性很小，现在想到一个解决方案如下             修改IKAnalyzer源码，在配置文件中多定义一个数据库连接的选项，我们将自定义词汇保存到数据库中，IK分词器内部去数据库
ik分词器自定义分词器
09-28
IK分词器是一个功能强大的分词工具，它可以通过自定义词典来实现自定义分词。要自定义分词器，你可以按照以下步骤进行操作： 1. 下载和安装IK分词器：将IK分词器安装包直接放在Elasticsearch的plugins文件夹下，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值