ES词典热加载-通过修改ik分词器源码实现热加载自定义词典

最新推荐文章于 2024-06-17 10:14:48 发布
最新推荐文章于 2024-06-17 10:14:48 发布
阅读量578 收藏
点赞数
分类专栏： ELK 文章标签： ES IK分词器 分词 词典 热加载
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33999844/article/details/105956519
版权

逻辑：自定义词典的数据从mysql加载，只需要重启一次ES即可，后续热加载

 

实现：在自定义词典的init方法中实现每隔一定时间读取mysql并写入自定义词典的逻辑

 

 

 

zmc@
关注
专栏目录
ELK系列(十)、ES中文分词器IK插件安装和配置远程词库热加载
王义凯 的博客
05-27 5546
简介 IK Analyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包； 最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件；从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立亍 Lucene 项目，同时提供了对 Lucene 的默认优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化； 本篇就介绍如何给ES安装插件，以及使用ik中文分词器进行搜索，最后介绍一下
IK中文分词扩展自定义词典！！！
热门推荐
iamaboyy的专栏
05-15 1万+
1.基于分布式系统的自定义分词要求与流程设计   （见图）E:\plan\readingnote\分词与索引\分词\2012-4-20 2.分词实现原理——词典的加载过程   2.1.分词词典的加载过程涉及到3个类，分别是Configuration类，Directory类，以及DictSegment类。 其中前两个类是获得配置文件，获得分词词典的，为词典内容的加载做准备
Elasticsearch ik分词器加载远程数据库中的热词库
weixin_43315211的博客
08-16 2573
1、下载 elasticsearch-analysis-ik 源码包 下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases 2、修改源码 org.wltea.analyzer.dic.Dictionary 单例类的初始化方法 initial，在这里需要创建一个我们自定义的线程，并且启动它 /** * 词典初始化...
es 热更新词库
f335830104的博客
08-14 484
1，词典配置 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 扩展配置</comment> <!--用户可以在这里配置自己的扩展字典 --> <entry key="ext_dict"&gt
Elasticsearch之插件es ik配置自定义中文分词词典
晴空马仔的博客
03-16 1万+
1. 首先需要安装好ik 可以参考本人blog http://blog.csdn.net/qq_30581017/article/details/79533240 或者github地址下载对应版本的ik: https://github.com/medcl/elasticsearch-analysis-ik 2. 配置自定义中文分词词典 如果宝宝们已经安装好ik,在es中测试分词成功...
ES加载plugin
chuanyangwang的专栏
10-10 244
private List<Tuple<PluginInfo,Plugin>> loadBundles(Set<Bundle> bundles) { List<Tuple<PluginInfo, Plugin>> plugins = new ArrayList<>(); Map<String, Plugin> loaded = new HashMap<>(); ...
elasticsearch-analysis-ik-7.15.2和7.14.0.zip
12-01
Elasticsearch 分析...总结来说，Ik分词器是Elasticsearch中文分词的重要工具，通过合理的配置和优化，能有效提升中文文本检索的准确性和效率。对于无法从GitHub快速下载的用户，这两个压缩包提供了离线安装的便利。
ElasticSearch 重写IK分词器源码设置mysql热词更新词库1
08-08
在本文中，我们将探讨如何利用Elasticsearch的IK分词器并对其进行源码改造，以实现热词库的动态更新，特别是通过MySQL数据库进行热词和停用词的定时更新。首先，我们要了解IK分词器的几种常用词库配置方式。 **0. ...
ik-analyzer-solr-master_ik分词器_pocket7ce_源码_
10-03
**ik分词器详解** ik分词器是Java开发的一款高效、灵活的中文分词工具，主要用于处理中文文本的分词任务。...通过深入理解ik分词器的源码，开发者可以更好地利用它进行各种定制和优化，以满足特定的搜索和分析需求。
通过elasticsearch-analysis-ik源码构建ik分词插件
weixin_43319551的博客
11-12 1274
自定义elasticsearch-analysis-ik插件，自定义analysis-ik词典，配置analysis-ik词典
基于ik动态词库分词实现--无需重启服务
11-09
基于ik动态词库分词实现--无需重启服务
analysis-ik-online:IKAnalyzer多分词配置、在线词典管理和热重载
05-26
analysis-ik-online 项目简介 基于IKAnalyzer深度定制拓展的一款分析器插件，支持特殊字符、数值、字母的分词策略，支持词典在线管理和热重载，支持多分析器多词库配置。 为便于开发调试，项目中直接集成了Solr和Elasticsearch的单机、集群调试功能，可直接在IDE中运行。 通过调整以下参数可实现不同分词效果： 1. dictSerial：词典编码，用于区分不同词典 2. useSmart：是否采用细粒度分词 3. useArabic：是否拆分数值 4. useEnglish：是否拆分字母 5. useSynonym：是否采用同义词 相关资源 Solr使用说明文档： Elasticsearch使用说明文档：
es 同义词 热更新 1.1版本
04-23
NULL 博文链接：https://m635674608.iteye.com/blog/2262211
IK分词器热刷新词库实践分享
最新发布
whatsyournamejack的专栏
06-17 1077
本篇文章介绍了ElasticSearch分词器相关内容，介绍了什么是分词器，什么是ik分词器，ik分词器目前存在的问题以及如何通过修改ik分词器的源码来实现热更新词库。Elasticsearch是基于倒排索引来实现搜索功能，而倒排索引的基础就是分词。Elasticsearch默认的分词器支持英文的分词，因为分词很简单，基本基于空格就可以分出来，而汉语的分词则困难很多。
es ik 分词插件 词库热加载源码分析
xiaomin1991222的专栏
12-04 117
package org.wltea.analyzer.dic; import java.io.IOException; import org.apache.http.client.config.RequestConfig; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache....
4-3 elasticsearch ik 词典加载
u012099568的专栏
04-19 219
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 扩展配置</comment> <...
elasticSearch Ik 分词器部署及热更新
LLH
11-23 1801
先安装好 elasticSearch 登录linux 进入home目录： cd home 下载：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz 解压： tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz 修改文件夹名字：mv elasticsearch-7.15.2-linux-x86_64 elasticse
ik mysql热加载分词_Elasticsearch 之（25）重写IK分词器源码来基于mysql热更新词库...
weixin_29730445的博客
01-19 331
热更新在上一节《IK分词器配置文件讲解以及自定义词库》自定义词库，每次都是在es的扩展词典中，手动添加新词语，很坑(1)每次添加完，都要重启es才能生效，非常麻烦(2)es是分布式的，可能有数百个节点，你不能每次都一个一个节点上面去修改es不停机，直接我们在外部某个地方添加新的词语，es中立即热加载到这些新词语热更新的方案(1)修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动加载新...
elasticsearch分词器词库热更新三种方案
one
12-01 5122
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录一、本地文件读取方式二、远程扩展热更新 IK 分词三、重写ik源码连接mysql 一、本地文件读取方式 首先进入elasticsearch目录的plugins目录下，查看目录结构 2.进入confg目录下 创建文件mydic.dic 并添加:“我是中国人” 3.打开config目录下 IKAnalyzer.cfg.xml配置文件 vim IKAnalyzer.cfg.xml 修改内容如下： 4.保存启动es 观察日志 加
ElasticSearch IK分词器与MySQL热词库集成实践
"ElasticSearch 重写IK分词器源码设置mysql热词更新词库1" 在Elasticsearch中，选择合适的分词器对于全文检索的性能至关重要。IK分词器是Elasticsearch的一个流行插件，特别适用于中文分词。本文主要探讨如何利用...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值