ES改变检索相似度算法-详解

最新推荐文章于 2024-04-15 21:34:14 发布
最新推荐文章于 2024-04-15 21:34:14 发布
阅读量1.7k 收藏
点赞数
文章标签： elasticsearch 算法 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44164000/article/details/121041813
版权
本文探讨了如何在Elasticsearch（ES）中更改检索相似度算法，特别是面对官方文档中记录的各种算法选择。由于最新版中classic算法已被废弃，尝试通过修改现有索引设置来变更算法的方法似乎不可行。因此，建议采用创建新索引并复制旧索引数据的方式来实现算法切换。
摘要由CSDN通过智能技术生成

ES官方文档中记录了可以使用的相似度算法
ES官方文档
【注】：classic在最新版里已经取消使用了（tf-idf算法）

最开始我想通过修改已有索引settings的方式改变搜索算法，但是这个方法貌似行不通（Es论坛里有人也有这样的问题 还没查到解决方法）
因此只能使用创建新索引——复制旧索引数据的方式

PUT /ntcir_dfi_c
{
   
  "settings": {
   
    "number_of_shards": 1,
      "similarity": {<
最低0.47元/天 解锁文章
木织啊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ES搜索原理与代码实例讲解
AI架构设计之禅
06-19 978
1.背景介绍 随着互联网的快速发展，数据量的爆炸式增长，如何高效地检索和查询数据成为了一个重要的问题。Elasticsearch（简称ES）是一个基于Lucene的分布式搜索引擎，它可以快速地存储、搜索和分析大量数据。ES的出现极大地简化了数据检索和查询的过程，成为了现代企业中不可或缺的一部分。 本文将介绍ES的核心概念、算法原理、数学模
ElasticSearch相似性度量
qq_29579431的博客
01-13 1813
默认情况下，Elasticsearch根据相关性评分(_score)对匹配的搜索结果进行排序，相关性评分衡量每个文档与查询的匹配程度。虽然每种查询类型可以计算不同的相关性得分，但得分计算也取决于查询子句是在查询还是过滤器上下文中运行。 ...
ES 相似度算法设置（续）
djph26741的博客
02-27 585
Tuning BM25 One of the nice features of BM25 is that, unlike TF/IDF, it has two parameters that allow it to be tuned: k1This parameter controls how quickly an increase in term frequency res...
ES系列之相似度模型
最新发布
lonelymanontheway的博客
04-15 1550
ES相似度模型/模块；布尔模型、TF-IDF、向量空间模型、constant_score查询、BM25；实战：配置、more_like_this；进阶：explain、分片；
Elastic 图像相似度搜索概述
Elastic 中国社区官方博客
03-02 749
制作这种交互式应用程序看起来很复杂。如果你一直在考虑在如下所示的传统架构中实施，则尤其如此。但在第二张图中，它显示了 Elastic 如何显着简化该架构……图1：图片相似度搜索的典型实现（需要外部服务）大多数用于搜索索引数据的搜索应用程序框架本身并不支持向量（相似性）搜索所需的k-最近邻搜索，也不支持应用 NLP 模型所需的推理。因此，图像相似度应用程序需要与多个服务交互，除了核心搜索 kNN 服务。如果涉及文本处理，它还需要与 NLP 服务交互，如图 1 所示。构建和维护起来可能很复杂。
ElasticSearch相似度匹配及分词器选择
chenxy02的博客
06-30 1万+
ES核心相似度匹配逻辑： ES的核心相似度匹配逻辑，或者匹配目的，可以不是很严谨的用以下两句话承载。 局部常见：该单词在文档中多次出现 全局罕见：该单词在语料库中出现的次数并不多。 详见：https://blog.csdn.net/chenxy02/article/details/115377912 分词器选择： ES相似度匹配的结果与所选择的分词器类别息息相关，常见的分词器如下： Standard：单字切分法，一个字（对于英文为一个单词）切分成一个词，ES默认内置分词器。 CJKAnalyz
ES计算余弦相似度
热门推荐
哈士奇
07-19 1万+
一、前言 最近在项目中做数据推荐的功能，比如，猜你喜欢。主动给用户推荐用户喜欢的商品。如何判断某个商品是不是用户喜欢的呢？在调研过程中，发现es可以做相似度的计算，相似度可以表示用户对某个商品的喜爱程度。下面我就介绍一下如何实现的。 二、数据源 要进行数据计算，首先是要有数据基础。我们的数据源是什么呢？我们目前数据来源是用户行为。我们会采集用户近100天的用户行为。根据用户行为计算出用户的向量。比如我们会统计用户浏览行为，点击行为，分享行为等，根据这些行为的数据，来计算出用户的向量。当然我们计算的是多维度的
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
01-08
**Elasticsearch 8.x 向量搜索使用详解** Elasticsearch 8.x 版本引入了对向量搜索的支持，这使得它能够处理非结构化的数据，如图像、文本和语音的语义搜索。向量搜索是通过将数据转换为高维向量并进行相似度比较来...
项目源码----全文检索案例
12-23
项目可能使用了开源全文检索库，如Lucene或Elasticsearch，它们提供了丰富的API和工具，便于开发者集成到自己的应用中。 总的来说，全文检索在信息检索、搜索引擎、内容推荐等领域有着广泛的应用。通过理解和实践这...
Java推荐系统-master.zip
04-18
数据库方面，MySQL或MongoDB可能用于存储用户行为数据和电影元数据，而Elasticsearch可能用于快速检索和相似度计算。 在“movie-master”项目的代码结构中，我们可能会看到以下几个关键模块： 1. 数据处理模块：...
Python库 | elastiknn-client-0.1.0rc15.tar.gz
03-04
这个库的全名是"elastiknn-client-0.1.0rc15.tar.gz"，它为开发者提供了在Elasticsearch中实现近似最近邻搜索（Approximate Nearest Neighbor Search）的能力，这对于大数据场景下的推荐系统、图像检索、自然语言...
基于scrapy的分布式搜索引擎
02-25
通过集成Elasticsearch，我们可以快速地对抓取的数据进行全文检索、近似搜索以及数据分析。 五、Python在搜索引擎中的应用 Python因其简洁的语法和丰富的库支持，在搜索引擎开发中广泛应用。例如，使用...
elasticsearch 自定义similarity 插件开发
july_2的专栏
03-17 4456
在搜索开发中，我们要修改打分机制，就需要自定义similarity。现在来简单说一下elasticsearch下的自定义similarity 插件开发。 网上的https://github.com/tlrx/elasticsearch-custom-similarity-provider仅仅支持0.20.0.Beta1-SNAPSHOT版本，现在我们用的版本是elasticsearch
ES相似度打分算法
Zwwxd666的博客
03-20 582
例如，苹果出现了1次，而我不小心连续输入了20次啊，那么该分数会偏高，甚至高于其他有关键字的，例如搜出只有一条是"eg 用户搜索——【A,B】 ES索引库里的所有文档 [A,D,G] [C,F,W],[K,I,O]BM25的TF Score会被限制在0~k+1间，最终趋于水平，k=1.2，使用者可修改。引入了平均文档长度概念，探究单个文档长度和平均所有文档长度间比值对TF Score的影响。A在第一条文档出现了1次，总词数为3则——1/3===》0.333分。词少的文档，匹配词少，快速确定相关性。
ElasticSearch计算文本相似度的算法总结
缘分天空
05-18 5527
TF-IDF算法，向量空间模型，布尔模型；
es 相似度查询
zhaoyahui_666的博客
09-01 2590
BoolQueryBuilder builder = QueryBuilders.boolQuery(); builder.must(QueryBuilders.matchQuery("deleteFlag", DeleteFlagEnum.NOT_DELETE.getValue())); List<Long> ttIds=new ArrayList<>(); ttIds.add(1L); ttIds.add(2L);.
ES设置查询的相似度算法
djph26741的博客
08-30 1526
similarity Elasticsearch allows you to configure a scoring algorithm orsimilarityper field. Thesimilaritysetting provides a simple way of choosing a similarity algorithm other than the de...
es mapping 参数
hyhanyu的博客
08-02 842
analyzers： 定义使用的分词器。分词不仅发生在数据被索引存入数据时，也发生在查询。所以，查询和索引时最好使用同样的分词器。 Es在索引时寻找分词器的顺序： The analyzerdefined in the field mapping. An analyzer named defaultin the index settings. The standardan...
ElasticSearch：全文检索利器与企业级搜索引擎详解
全文检索服务ElasticSearch是一种强大的搜索引擎解决方案，它基于Apache Lucene库，专注于提供分布式、实时的全文搜索功能。Elasticsearch的核心优势在于其易用的RESTful API接口，使得开发者能够方便地创建、管理和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值