解决IK分词英文查询问题

最新推荐文章于 2024-06-23 10:47:41 发布
最新推荐文章于 2024-06-23 10:47:41 发布
阅读量1.5k 收藏 3
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56874878/article/details/118488059
版权

通过IK分词查询查出排序有问题。中文分词的没问题，英文的不会分词。解决办法打开elasticsearch-7.2.1\plugins\analysis-ik\config 的IKAnalyzer.cfg.xml文件

在<entry key="ext_dict">sku/aaa.dic</entry>建立一个自己定义的分词

在elasticsearch-7.2.1\config\sku\建立aaa.dic文件

手输入，英文单词让他们全部分词

重启es ，重新导入下

然后查询

m0_56874878
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
ik php分词,ik中英文混合分词器
weixin_30588427的博客
03-12 902
3、重启Elasticsearch4、测试分词器GET /_analyze{"text": "中华人民共和国国徽",# 两种：ik_smart较粗粒度的拆分 和 ik_max_word较细粒度的拆分"analyzer": "ik_max_word"}5、使用分词器 在模版中定义好分词"settings": {"index": {"number_of_shards": "1","number_of_...
ik分词器
qq_55682798的博客
08-22 531
ik_max_word为最细切分，能切的都会被切掉； 安装到es中的plugins 如果重新启动es的时候报错的话,先将es的索引删除,在重新添加索引，从新添加的索引定义一下分词,在将ik重新放入到plugins中
IK分词器---Elasticsearch（standard、ik_smart、ik_max_word、拓展词典---ik_max_word）
最新发布
2302_79020600的博客
06-23 1325
分词器的作用是什么？创建倒排索引时，对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度：最细切分，细粒度IK分词器如何拓展词条？如何停用词条？利用config目录的文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条。
ik中英文混合分词器
zlhblogs的博客
04-18 444
ik中英文混合分词器
elasticsearch ik_smart 中文分词器，分词英文的时候有个小 bug
11-06 2685
昨天在测试 match 查询用法的时候，随便输入了一段 twenty British women made history 这样一段文本，结果却查不出来记录。明显是有问题的，这段文本是从 es 记录中拷贝的一句，怎么就查不出来了呢？ 后来看了下分词器用的是 ik_smart ，是不是中文分词器对英文支持的不够好？后来试了下 standard 分词器，是可以查出来的。 刚才试了下分词结果，发现了问题所在: GET /_analyze { "analyzer": "ik_smart", "text":
elasticSearch-ik分词器
无
07-21 338
1.下载 访问：https://github.com/medcl/elasticsearch-analysis-ik/releases，找到与自己的ES相同的版本，  可以下载源码，然后自己编译，也可以直接下载编译好的压缩包，比如我这里是5.4.0版本： . 2.安装 在es目录下的plugins目录下创建一个新文件夹，命名为ik，然后把上面的压缩包中的内容解压到该目录中。 比如在Ubu...
【ElasticSearch】 中文分词器-IK分词器
liuerchong的博客
10-11 742
分词介绍 什么是分词 　　分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。 　　举例:我是中国人-->我/是/中国人 分词api 　　指定分词器进行分词 　　示例： 1 POST /_analyse 2 3 { 4 "analyzer": "standard", 5 "text": "hello world" 6 } 　　效果如下： 　　 　　在结果中不仅可以看出分词的结果，还返回了该词在文...
elasticSearch使用Ik分词，Kibana查询Ik分词
tangyuewei.com
08-13 2144
准备工作 下载安装elasticsearch，本文案例使用的是elasticsearch-6.2.4版本 修改elasticsearch-6.2.4\config目录下elasticsearch.yml # 集群名 cluster.name: tyw # 节点名 node.name: tyw-node-1 # 访问ip，此处设置为允许所有来源 network.host: 0.0.0.0 # 暴露端口 http.port: 9200 下载ik分词器(注意要与上面es的版本兼容) 将ik分词器放
ik中文分词词库，包含不低于20万词
12-17
ik中文分词词库就是为了解决这个问题而创建的，它提供了丰富的词汇表，帮助分词工具更准确地识别和分割词语。 Ik分词器，全称为“Intelligent Chinese Analyzer”，是一个开源的、高效且灵活的中文分词系统。它的...
IK中文分词器原理
05-12
本文将深入探讨IK分词器的工作原理，并详细解析其内部实现机制。 #### 二、字符类型分类 IK分词器在处理中文文本时，首先会对文本中的字符进行类型划分。根据文档提供的信息，IK分词器目前共支持五种字符类型，虽然...
es中文分词器 ik分词器.zip
04-24
为了解决这一问题，社区开发了专门针对中文的分词器——IK分词器。IK全称是“Intelligent Chinese”，即智能中文，它能够更好地理解和拆分中文词汇，提高搜索的准确性和效率。 ** IK 分词器的两种工作模式 ** 1. *...
elasticSearch中IK分词器使用教程
04-16
这里以Elasticsearch 5.5.0版本为例进行说明，需要注意的是，IK分词器的版本必须与所使用的Elasticsearch版本保持一致，否则可能会出现兼容性问题。 1. **下载并解压IK分词器压缩包**：下载对应版本的IK分词器压缩...
docker里ik扩展词不起作用
a1049766219的博客
10-06 509
学的过程中碰到的ik自定义扩展词不生效的一个解决办法
ik分词
qq_39783774的博客
04-19 429
这个方法接收两个参数，field name和输入流reader，其中filed name是Lucene的属性列，是对文本内容进行过分词处理和创建索引之后，索引对应的一个名称，类似数据库的列名。二.调用Analyzer对象的tokenStream方法获取TokenStream对象，此对象包含了所有分词结果。使用智能分词 true: 对应 ik_smart , false 对应 ik_max_word。四.调用tokenStream对象的reset方法，重置指针，不调用会报错。查询时用 ik_smart。
ik分词器支持标点符号，特殊字符分词（分词结果包含特殊字符）
*** 喵桑_Rachel ***
02-10 2345
需要修改ik分词插件源码 github官网下载对应那本的ik源码包(徐泽自己需要的版本) 下载好后，解压，用idea打开编辑源码 在工具类（CharacterUtil.java）里，找到方法identifyCharType，加入以下代码： }else if (ub == Character.UnicodeBlock.GREEK // 希腊符号 // 希腊扩展符号 || ub == Character.UnicodeBlock.GREEK_EXTENDED // 拉丁字.
ElasticSearch之 ik分词器详解
pgcdnameming的博客
11-22 2557
IK分词器 简介，基本使用，以及扩展词典禁用词典
lucene IK分词器 +不分词
weixin_43147226的博客
03-22 1228
需求 名字 东方朔 IK :东方 朔 当我查询索引东方朔的时候 并没有出现我所需要的结果，是因为没有东方朔这个词 因此我需要不分词。 寻找不分词的方法寻找了很久，首先是自定义扩展的词，但是这个问题我遇到了版本不合适，听说IK2012分词器不支持4.0以上的版本，不过当我把lucene版本降到3.6的时候，并且还把编码弄为utf-8 no Bom 了，我最终结果还是不行。你们可以先试试 先看： https://blog.csdn.net/whzhaochao/article/details/5013
springboot集成es，特殊字符查询不出来
weixin_35756690的博客
01-16 912
在 Spring Boot 中集成 Elasticsearch 时，如果遇到特殊字符查询不到的问题，可能是因为没有正确配置分词器或过滤器。您可以尝试在配置文件中添加以下配置： spring.data.elasticsearch.analyzer.type: ik_smart 这样就可以使用 IK 分词器来处理特殊字符了。此外，您还可以尝试在 mapping 中添加对特殊字符的过滤，以确保它们能够...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值