ElasticSearch相似性度量

最新推荐文章于 2024-07-27 20:19:46 发布
最新推荐文章于 2024-07-27 20:19:46 发布
阅读量1.8k 收藏 4
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29579431/article/details/112542076
版权
本文介绍了ElasticSearch中的默认相似性度量算法BM25，并提供了相关性的数学公式。通过测试，验证了使用Python实现的BM25公式与ElasticSearch的计算结果一致。
摘要由CSDN通过智能技术生成

默认情况下，Elasticsearch根据相关性评分(_score)对匹配的搜索结果进行排序，相关性评分衡量每个文档与查询的匹配程度。虽然每种查询类型可以计算不同的相关性得分，但得分计算也取决于查询子句是在查询还是过滤器上下文中运行。
在ElasticSearch 2.X~5.X中默认使用的是TF/IDF算法计算相关性，5.X以后默认使用BM25算法。在7.X版本中不再使用TF/IDF算法。目前，我使用的版本为7.10.1，只支持BM25算法和boolean算法。

BM25

目前ES默认的相似性度量算法为BM25，具体公式为：
在这里插入图片描述
该公式为文档 d d d对于查询 Q Q Q的相似性评分：

  • n n n 为查询分词总数（例如查询this is a test的话就是有4个分词this, is, a, test）
  • N N N 为文档总数
  • q i q_{i} qi​ 为查询的第 i i i个分词
  • n ( q i ) n(q_{i}) n(qi​) 为包含 q
最低0.47元/天 解锁文章
xiaobo_z
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES改变检索相似度算法-详解
weixin_44164000的博客
10-29 1787
ES官方文档中记录了可以使用的相似度算法 ES官方文档 【注】：classic在最新版里已经取消使用了（tf-idf算法） 最开始我想通过修改已有索引settings的方式改变搜索算法，但是这个方法貌似行不通（Es论坛里有人也有这样的问题 还没查到解决方法） 因此只能使用创建新索引——复制旧索引数据的方式 PUT /ntcir_dfi_c { "settings": { "number_of_shards": 1, "similarity": { "my_simila
ES设置查询的相似度算法
djph26741的博客
08-30 1535
similarity Elasticsearch allows you to configure a scoring algorithm orsimilarityper field. Thesimilaritysetting provides a simple way of choosing a similarity algorithm other than the de...
ElasticSearch(七)— 相关性检索和组合查询
最新发布
敲代码的小小酥的博客
07-27 1149
全文检索与数据库查询的一个显著区别， 就是它并不一定会根据查询条件做完全精确的匹配。除了模糊查询以外，全文检索还会根据查询条件给文档的相关性打分并排序，将那些与查询条件相关性高的文档排在最前面。相关性( Relevance)或相似性(Similarity)是指两个事物间相互关联的程度，在检索领城特指检索请求与检索结果之间的相关程度。在 Elaticsearch 返回的每条结果中都会包含一个_ score 字段，这个字段的值就是当前文档匹配检索请求的相关性评分，我们也可以称为相关度。
ES系列之相似度模型
lonelymanontheway的博客
04-15 1662
ES相似度模型/模块；布尔模型、TF-IDF、向量空间模型、constant_score查询、BM25；实战：配置、more_like_this；进阶：explain、分片；
ES 相似度算法设置（续）
djph26741的博客
02-27 590
Tuning BM25 One of the nice features of BM25 is that, unlike TF/IDF, it has two parameters that allow it to be tuned: k1This parameter controls how quickly an increase in term frequency res...
ES相似度打分算法
Zwwxd666的博客
03-20 620
例如，苹果出现了1次，而我不小心连续输入了20次啊，那么该分数会偏高，甚至高于其他有关键字的，例如搜出只有一条是"eg 用户搜索——【A,B】 ES索引库里的所有文档 [A,D,G] [C,F,W],[K,I,O]BM25的TF Score会被限制在0~k+1间，最终趋于水平，k=1.2，使用者可修改。引入了平均文档长度概念，探究单个文档长度和平均所有文档长度间比值对TF Score的影响。A在第一条文档出现了1次，总词数为3则——1/3===》0.333分。词少的文档，匹配词少，快速确定相关性。
ElasticSearch计算文本相似度的算法总结
缘分天空
05-18 5556
TF-IDF算法，向量空间模型，布尔模型；
哈希+汉明距离进行相似性度量
u014448054的博客
01-16 4112
哈希+汉明距离进行相似性度量 哈希算法 aHash 定义 aHash 基于低频的均值哈希 ：过于严格 更适合搜索缩略图 算法步骤 缩小图片尺寸 将其化为灰度图 计算灰度均值 根据与灰度均值的对比得到二值图 将二值图按序组合成哈希值（指纹） 代码实现(python) def get_aHash(image_dir): from functools import reduce im...
lucene-constant-tf-similarity:Lucene和Elasticsearch的恒定tf相似性
05-06
总结来说，“lucene-constant-tf-similarity”项目是针对Lucene和Elasticsearch的一种特定相似性实现，通过将词频部分设定为常数，简化了对词频变化的考虑，可能适用于那些希望降低词频影响的场景。然而，任何相似性...
基于协同过滤的推荐系统的相似性度量：综述与实验比较
制作和主办：Elsevier沙特国王大学学报基于协同过滤的推荐系统的相似性度量：综述与实验比较FethiFkih计算机科学系，计算机学院，Qassim大学，沙特阿拉伯Buraydah，沙特阿拉伯BIND研究小组，计算机学院，Qassim大学...
ESSK_一种计算点击流相似度的新方法
06-01
ESSK_一种计算点击流相似度的新方法是一种新方法，也是一个很厉害的算法，希望对你有所帮助。
相似度查询
05-22
相似度查询 同位素 算法比较
elasticsearch-vector-scoring:对与ES具有纯点积余弦相似度的文档进行评分
05-04
用于Elasticsearch的矢量计分插件 注意：此插件的大多数功能现已在ES中本机支持： : 另请参阅 。 该插件不再维护 使用此插件，您可以使用点积或余弦相似度，根据任意原始向量对文档进行评分。 发行版 Master分支的目标是Elasticsearch 5.4。 请注意，不支持5.5+版本，因为Elasticsearch更改了其插件机制。 5.5+的更新将很快开发（欢迎PR）。 以Elasticsearch 2.4.x为目标 概述 该插件的目的是对基于矢量的模型，尤其是基于因子的推荐模型进行实时评分。 在这种情况下，将使用对用户和项目因子向量进行索引，例如将向量[1.2, 0.1, 0.4, -0.2, 0.3]索引为字符串： 0|1.2 1|0.1 2|0.4 3|-0.2 4|0.3 。 这将向量索引存储为“项”，将向量值存储为“有效载荷”。 计分 该插件提供了本
沙特国王大学学报：协同过滤推荐系统相似性度量综述及实验比较
制作和主办：Elsevier沙特国王大学学报基于协同过滤的推荐系统的相似性度量：综述与实验比较FethiFkih计算机科学系，计算机学院，Qassim大学，沙特阿拉伯Buraydah，沙特阿拉伯BIND研究小组，计算机学院，Qassim大学...
es 相似度查询
zhaoyahui_666的博客
09-01 2599
BoolQueryBuilder builder = QueryBuilders.boolQuery(); builder.must(QueryBuilders.matchQuery("deleteFlag", DeleteFlagEnum.NOT_DELETE.getValue())); List<Long> ttIds=new ArrayList<>(); ttIds.add(1L); ttIds.add(2L);.
ES：配置相似度模型，甚至可以用脚本实现一个快速实现简单的打分模型
lijy83的专栏
06-26 1509
详见文档https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-similarity.html#configuration
ES BM25 TF-IDF相似度算法设置——
djph26741的博客
02-27 446
Pluggable Similarity Algorithms Before we move on from relevance and scoring, we will finish this chapter with a more advanced subject: pluggable similarity algorithms.While Elasticsearch use...
ElasticSearch学习篇9_文本相似度计算方法现状以及基于改进的 Jaccard 算法代码实现与效果测评
xiaosi的博客
12-22 4383
目前基于集合的Jaccard算法以及基于编辑距离的Levenshtein在计算文本相似度场景中有着各自的特点，为了优化具体的计算时间抖动超时问题，需要学习此方面知识，本文主要内容为文本相似度计算方法的现状、Jaccard、Levenshtein算法实现基本原理以及代码实现论文基于改进的 Jaccard 系数文档相似度计算方法的算法。这样，即使两个主题的语义相似度较低，但由于它们之间可能存在隐含的相关关系，搜索引擎可以更好地理解用户的真实需求，并提供更准确、相关的搜索结果。我们要判断这两篇文章是否相似。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值