elasticsearch整合ik分词器时,自定义分词器配置分词词典的配置方法

最新推荐文章于 2021-12-31 08:54:19 发布
最新推荐文章于 2021-12-31 08:54:19 发布
阅读量1.1k 收藏
点赞数
分类专栏： java开发 文章标签： elasticsearch ik分词器 自定义词典
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42340627/article/details/88761779
版权

elasticsearch整合ik分词器时,自定义分词器的配置方法


elasticsearch整个ik分词器时,自定义分词器的配置方法

欢迎使用Markdown编辑器

最近在研究elasticsearch,在整合ik分词器的时候配置自定义词典时,发现无法生效,最终发现原来是编windows系统下编码的问题 .默认是ANSI改为UTF-8即可
在这里插入图片描述
此外,ik分词器配置多个自定义词典时IKAnalyzer.cfg.xml文件配置方式错误配置方式:
这样会导致最后一个配置覆盖前面的
这样会导致最后一个词典配置覆盖前面的;
正确配置方式:
在这里插入图片描述
多个词典分号隔开
Alt

weixin_42340627
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch使用IK分词器自定义分词不起作用
weixin_44462294的博客
06-14 6739
问题 ElasticSearch安装IK分词器后，写了一个自己的自定义分词 但是配置之后使用 GET _analyze { "analyzer": "ik_max_word", "text": "超级挖槽" } 结果 { "tokens" : [ { "token" : "超级", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" :
Elasticsearch之中文分词器插件es-ik的自定义词库
weixin_34240657的博客
02-25 287
    前提， Elasticsearch之中文分词器插件es-ik       　　针对一些特殊的词语在分词的时候也需要能够识别 　　有人会问，那么，例如： 　　　　　　　　　　如果我想根据自己的本家姓氏来查询，如zhouls，姓氏“周”。 　　　　　　　　      如果我想根据自己的公司名称来查询，如“好记性不如烂笔头感叹号博客园” 　　　　　　　　　　 如果我想根据自...
elasticsearch学习三：elasticsearch-ik分词器的自定义配置 分词内容
冯安晨
12-17 372
文章目录前言一、发现问题1. ik_market2. ik_max_word二、解决问题：ik分词器增加自己的配置三、kibana测试1. ik_smart1. ik_max_word 前言 一、发现问题 对 超级喜欢冯凡利java 进行分词 1. ik_market 2. ik_max_word 发现问题：冯凡利被拆开了！ 这种自己需要的词，需要自己加到我们的分词器的字典中！ 二、解决问题：ik分词器增加自己的配置 打开elasticsearch中 plugins/ik/config/IKAnaly
IK分词器-自定义分词
11-27 2762
我们首先测试一下IK分词器的ik_smart最少切分策略。 GET _analyze { "analyzer": "ik_smart", "text": "中国共产党" } 可以看到，使用ik_smart最少切分策略时，kibana只帮我们分词为一个"中国共产党"一个词。 下面我们修改成ik_max_word最细粒度划分策略看看效果如何： GET _analyze { "analyzer": "ik_max_word", "text": "中国共产党" } 如下就是IK分词器使用ik_
elasticsearch ik分词器配置使用，自定义分词
zhaoqingquanajax的博客
08-30 1637
安装 1，下载ik分词器（下载对应版本） ：https://github.com/medcl/elasticsearch-analysis-ik/releases 2，解压到 elasticsearch的plugins文件夹下 3，启动会自动加载 4，到elasticsearch的home下，运行命令 elasticsearch-plugin list 查看加载的插件 5，ik分词器提供了两种分词算法：ik_smark最少切分，ik_max_word最细精度切分 ik_smark最少切分： GET _
Elasticsearch 配置 IK 扩展词典及隔离词典
shpunishment的博客
01-27 2508
1
ik分词器tar包 7.10.2
03-03
IK分词器是针对Elasticsearch（ES）的一款热门中文分词插件，其全称为“Intelligent Chinese Analyzer for Elasticsearch”。它由Java编写，旨在为中文文档提供高效、准确的分词处理。版本7.10.2是IK分词器的一个...
elasticsearch7.8.0版本的IK分词器
12-30
8. **配置参数**: 用户可以通过 Elasticsearch 的配置文件调整 IK 分词器的各种参数，如最大深度、是否开启模糊匹配等，以适应不同的业务场景。 9. **插件安装与升级**: 安装 IK 分词器非常简单，只需将 `elastic...
ik分词器7.17.10
06-19
ik分词器是为Elasticsearch（ES）设计的一款高效、可扩展的中文分词工具，它能有效地将中文文本拆分成一个个独立的词语，便于后续的索引和查询操作。ik分词器7.17.10是该工具的一个版本，适用于Elasticsearch 7.x...
elasticsearch-ik中文分词器7.6.2.zip
04-11
IK分词器的特点在于它的动态词典加载和自定义扩展词功能，能够根据实际需求进行灵活配置，提高分词效果。 **安装与配置** 在Elasticsearch中使用IK分词器，首先需要将"elasticsearch-analysis-ik-7.6.2.jar"文件放...
IK分词器elasticsearch-analysis-ik-7.17.16
最新发布
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
Elasticsearch 在settings自定义分词器
男儿当自强
12-31 786
需要先安装拼音分词器 创建索引 在settings自定义分词器 DELETE artists put artists { "settings":{ "analysis":{ "analyzer":{ "user_name_analyzer":{ "tokenizer":"whitespace", "filter":"pinyin_first_letter_and_full_pinyin_filter" } ...
elasticsearch ik分词插件配置自定义分词词典
学亮编程手记
03-23 515
利用IK分词器，自定义分词规则
weixin_30325793的博客
08-31 352
IK分词源码下载地址：https://code.google.com/p/ik-analyzer/downloads/list lucene源码下载地址：http://www.eu.apache.org/dist/lucene/java/ 下载IK分词源码后，运行出现错误提示： Analyzer cannot be resolved to a type TokenStream ...
es 使用ik停词_ElasticSearch系列五：掌握ES使用IK中文分词器
weixin_39605296的博客
12-21 318
一、内置分词器的介绍例：Set the shape to semi-transparent by calling set_trans(5)standard analyzer(默认)： set, the, shape, to, semi, transparent, by, calling, set_trans, 5simple analyzer： set, the, sh...
ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）（转）
热门推荐
GLQ_LH的博客
11-13 1万+
本文地址，需转载请注明出处： http://blog.csdn.net/hereiskxm/article/details/47441911 当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。 我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。...
总结:elasticsearch和ik分词器结合使用遇到的坑!自定义分词,远程热加载自定义分词
qq_25325809的博客
08-12 1971
第一个坑本地自定义分词无法加载到es,或者加载了也无法使用. 注意你所建的dic文件路径是否正确,文件格式是否为(UTF-8-BOM) 修改IKAnalyzer.cfg.xml: <entry key="ext_dict">custom/mydic.dic</entry> 重庆es: [2020-08-12T10:20:51,226][INFO ][o.w.a.d.Monitor ] [Dict Loading] D:\software\elastic
Elasticsearch自定义分词，从一个问题说开去
qq_38461443的博客
08-01 239
1、问题抛出 来自星友的一个真实业务场景问题： 我现在的业务需求是这样的。有一个作者字段，比如是这样的Li,LeiLei;Han,MeiMei;还有一些是LeiLei Li...。 现在要精确匹配。 我的想法是：用自定义分词通过分号分词。但是这样我检索Li,LeiLei那么LeiLei Li就不能搜索到，我希望的结果是LeiLei Li也被搜索到。 而且这种分词，Li,LeiLei不加逗号，也不能匹配到。但是不知道为什么我在mapping里面添加停用词也不管用？ 2、本文思路 从问题出发，由浅入深逐步
解决spring data elasticsearch @Field配置分词器 analyzer无效问题
weixin_42054936的博客
12-31 4282
spring data elasticsearch 配置搜索实体配置正确 但是分词器无法在elasticsearch加上 ，可能原因是 @Field 上的 type 必须用FieldType.Text ,如果不是会导致所有的 analyzer都无法配置上，原因是text才会使用分词，而Keyword之类的不会分词,所以导致elasticsearch putMappinge接口报错。 错误的写法 @Field(type = FieldType.Keyword, searchAnalyzer = "
ik分词器自定义分词器
09-28
2. 配置自定义词典：将你的自定义词典文件(.dic)放在IK分词器解压后的config文件夹中。同时，你还可以在IKAnalyzer.cfg.xml文件中添加扩展词典或自定义停用词词典。每个词典之间使用英文分号(;)进行分隔。 当你完成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值