ElasticSearch检索英文没有词形还原

最新推荐文章于 2022-11-04 21:00:00 发布
最新推荐文章于 2022-11-04 21:00:00 发布
阅读量819 收藏
点赞数
分类专栏： 推荐系统系列 文章标签： ElasticSearch 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GodsLeft/article/details/87362445
版权
本文探讨了在使用ElasticSearch进行检索时遇到的词形还原问题。作者通过实验发现，使用english分析器能解决friends和friend检索结果不同的现象，并建议对于英文字段，设置english分析器比default的standard分析器更优。
摘要由CSDN通过智能技术生成

最近在使用ES做检索的时候，发现检索friends和friend的结果有很大的差别，我记得这个应该是ES会自动处理的，但是现在明显是没有的，所以。。。肯定是哪里出问题了。

1. 语言分析器

语言分析包含了构造索引的全部过程，分词，归一化。。。

1.1 分词器(tokener)

1.2 归一化词源（normalization）

2. 实验

  1. 创建一个索引，将分析器设置为english，默认情况分析器为standard
PUT /my_index
{
   
  "mappings": {
   
    "blog": {
   
      "properties":
最低0.47元/天 解锁文章
GodsLeft
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElastIcSearch分词器
weixin_45688203的博客
03-30 2160
ElastIcSearch分词器 Analysis 和 Analyzer Analysis： 文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词(Analyzer)。Analysis是通过Analyzer来实现的。分词就是将文档通过Analyzer分成一个一个的Term(关键词查询),每一个Term都指向包含这个Term的文档。 Analyzer 组成 ​ 注意: 在ES中默认使用标准分词器: StandardAnalyzer 特点: 中文单字分词 单词分词 我是中国人 this
ElasticSearch范围查询（英文检索）
ywl470812087的博客
03-16 10万+
#根据日期范围查询 #范围查询 GET /lib3/user/_search { "query": { "range": { "birthday": { "from": "1990-10-10", "to": "2020-03-15" } } } } { "took" : 24, "timed_out...
采用Stanford CoreNLP实现英文单词词形还原
uzY)&PHd!cqj
10-24 1万+
最近有个小的任务，根据英文单词的过去分词或现在分词或复数形式获取词语的原形，本来我的思路是：对于不规则变化的词语，建立不规则词表，直接从词表中查询；对于规则的词形变化，自己写规则进行还原。后来发现有些变化涉及到单词的发音，如重读闭音节要双写最后一个单词再变化，这样逆推的话就不好处理，从网上查询获取单词音标也没有实现好的结果。于是从网上搜索资料发现了Stanford CoreNLP这个工具。此工
ElasticSearch英文基本查询
奔腾游子
04-23 387
本章内容概述 1、基本查询(QUERY查询) 2、结构化查询 1、基本查询(QUERY查询) 1.1 数据准备 先插入数据,以备测试使用 ### 创建索引 PUT /lib3 PUT /lib3/user/1 { "name":"zhaoliu", "address":"hei long jiang tie ling shi", "age":50, "birthday":"1970-12-12", "interests":"hejiu,duanlian,lvyou" } PUT
ElasticSearch【有与无】【搜索引擎】【ES20】将单词还原为词根
琴韵悠悠
07-01 1264
目录 1.简介 1.1.词干提取算法（stemmeralgorithm） 1.2.字典词干提取器 1.3.Hunspell 词干提取器 安装一个词典 创建一个 Hunspell 语汇单元过滤器 Hunspell 词典格式 1.4.选择一个词干提取器 提取性能 提取程度 选择 1.5.控制词干提取 阻止词干提取 自定义提取 原形词干提取 1.简介 大多数语言的单词...
ElasticSearch支持根据英文或者数字进行模糊查询
jicanweiCSDN的博客
11-04 3672
Elasticsearch模糊查询补充。
【Elastic Search 学习总结】9. ES的基本查询--基于英文
FullStackDeveloper0的博客
03-27 1264
目录 1. 查询 term、terms match（match_all、multi_macth、match_pharse、match_pharse_prefix） wildcard fuzzy 2. 控制返回的数量、字段 3. 排序 4.日期的范围查询 一、数据准备 1. 创建索引并手动创建Mapping 2. 添加文档对象 我个人添加了5个 二、数据搜索...
elasticsearch-analysis-ik 7.17.16 分词器
最新发布
01-10
Elasticsearch（ES）是一款功能强大的全文搜索引擎，而分析器在ES中扮演着至关重要的角色，它负责将用户输入的文本进行预处理，包括分词、词形还原等步骤。`elasticsearch-analysis-ik`是一个专为Elasticsearch设计...
最新版windows elasticsearch-7.10.0-windows-x86_64.zip
11-12
Elasticsearch是一款强大的开源搜索引擎，尤其适用于实时数据分析和大规模数据检索。这个压缩包"elasticsearch-7.10.0-windows-x86_64.zip"是专为Windows操作系统设计的最新版本，针对64位架构。以下是关于Elastic...
elasticsearch-analysis-ik-7.4.2.zip
02-25
在搜索引擎和文本分析领域，Elasticsearch（简称ES）是一个广泛使用的开源解决方案，它提供了强大的全文检索、实时分析以及高可用性。为了更好地处理中文文档，Elasticsearch 提供了多种插件，其中最著名的就是 IK ...
ElasticSearch学习笔记
qq_45541846的博客
05-22 2244
1、Lucene简介 1.1、Lucene介绍 Lucene是Apache Jakarta家族中的一个开源项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎，索引引擎和部分文本分析引擎。 Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在java开发环境里 Lucene是一个成熟的免费开源工具，是目前最为流行的基于java开源全文检索工具包。 数据总体分为两种： 结构化数据：指具有固定格...
elasticsearch 搜索不支持单词的部分进行匹配
zhaoyangjian724的专栏
09-01 3127
zjtest7-frontend:/usr/local/logstash-2.3.4/config# curl -XGET http://192.168.32.80:9200/logstash-2015.06.21/testlog/_search?q=fir {"took":4,"timed_out":false,"_shards":{"total":5,"successful":5,"faile
ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）（转）
GLQ_LH的博客
11-13 1万+
本文地址，需转载请注明出处： http://blog.csdn.net/hereiskxm/article/details/47441911 当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。 我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。...
Elasticsearch实现英文区分大小写搜索
weixin_30435261的博客
06-15 3877
需求很简单，搜索时，有一个区分大小写的CheckBox,勾选则区分大小写，不勾选正常模糊搜索，或者其他搜索 首先搞清楚，ElasticSearch索引英文时默认索引时采用的分析器，会将全部字符转换为小写，所以采用默认分析器是无法实现区分大小写的。 最直接的方法就是自定义分词器， { "analysis": { "analyzer":{ "case_sensi...
ElasticSearch基本查询一（英文分词）
热门推荐
ywl470812087的博客
03-14 11万+
废话不多说首先准备数据，我们先添加几个文档 PUT /lib3/user/1 { "name" : "zhaoliu", "address" :"hei long jiang sheng tie ling shi", "age" : 50, "birthday" : "1970-12-12", "interests": "xi buan hejiu, duanlian, ...
ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）
雷雨中的双桅船
08-12 1万+
当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。 我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了，只有一墙之隔：词干提取。一个真正的英文分词器除了
elasticsearch 支持中英文搜索和混合搜索
weixin_34148456的博客
07-13 4720
环境： ubuntu16.04 安装: elasticsearch 5.22 1. 第一步，安装java apt-get install default-jre apt-get install default-jdk 2.第二步，安装elasticsearch.   5.22wget https://artifacts.elastic.co/downloads/elasticsearch/elas...
深入探索Lucene：Java全文检索框架
1. **文本分析**：Lucene内置了分词器（Tokenizer）和过滤器（Filter），可以对输入的文本进行分词、去除停用词、词形还原等预处理，以提高搜索效果。 2. **索引构建**：Lucene使用倒排索引（Inverted Index）结构，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值