文本相似度-BM25算法

最新推荐文章于 2024-08-08 19:16:22 发布
最新推荐文章于 2024-08-08 19:16:22 发布
阅读量9.7k 收藏 8
点赞数 2
分类专栏： search engine 文章标签： BM25 搜索引擎 打分算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sangyongjia/article/details/52097281
版权
BM25算法用于搜索引擎的文档评分，考虑了词频和文档长度。IDF权重反映了词的区分度，相关性得分受调节因子影响。问题在于部分文档缺少特定字段，导致得分异常。解决方案是确保所有文档包含相应字段。
摘要由CSDN通过智能技术生成

最近两天在debug搜索引擎的一个bug，在关键词运营时，将某个商品以运营的方式索引进搜索引擎后，在搜索特定的某个关键词时，该商品的排名会提升到最前边，但是在系统重新启动后，发现运营的商品不能排到前列。重新索引进去再搜索就可以排在前列。

经过debug，发现在BM25算法计算得分时avgPropLength的值是一个e-5级别的值。原因是只有我试验的极个别文档含有运营的字段，从而导致avgPropLength的值及其小e-5。这样在计算此字段的BM25得分时非但没有沾光反而吃亏，最终导致商品不能排列到最前列。

但是，为什么索引进去之后，只要不重新启动就能排列到最前列呢？这还需要进一步的分析！

解决办法就是所有索引的document都必须包含次字段，且需要含有value。否则还会有这个问题！！！

----------------------------------------转载内容----------------------------------------------------------------------------------------------------

BM25 is a bag-of-words retrieval function that ranks a set of documents based on the query terms appearing in each document,

最低0.47元/天 解锁文章
一座青山
关注
专栏目录
信息检索中的经典算法——BM25
白马负金羁
10-25 6696
BM25（Best Match25）是在信息检索系统中根据提出的query对document进行评分的算法。它主要由Stephen E. Robertson, Karen Spärck Jones等人在上世纪70到80年代提出。BM25算法首先由Okapi系统实现（Okapi是伦敦城市大学实现的信息检索系统），所以又称为Okapi BM25
文本相似度计算-bm25算法详解
sir_TI的博客
03-04 3098
1 bm25 说到bm25算法，那么就不得不说一下TF-IDF了，关于TF-IDF，解释如下： 1.1 TF-IDF介绍 TF：Term Frequency即词频，是文本中某个词出现的次数 IDF:Inverse Document Frequency即逆文本频率，那么关键是理解IDF的含义,首先我们给出IDF的计算公式： ...
文本相似度-bm25算法原理及实现
老码农
01-30 541
文本相似度-bm25算法原理及实现 文章目录文本相似度-bm25算法原理及实现原理 原理 BM25算法： 用途：搜索相关性分数的计算； 算法描述： 对Query进行语素解析，生成语素qiq_iqi​； 然后，对于每个搜索结果D，计算每个语素qiq_iqi​与D的相关性得分， 最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。 BM25算法的一般性公式如下： ...
[论文笔记]BM25S：Python打造超越RANK-BM25的实现
最新发布
日积月累，天道酬勤
08-08 1245
首先介绍了一种新的计算 BM25 分数的方法，速度远超RANK-BM25(BM25Okapi)。最后通过代码实战中文上的表现。
【NLP】非监督文本匹配算法——BM25
让算法融入生活，改变生活！
04-16 2678
背景 在信息搜索中，我们做的第一步就是检索。对于文本检索中，第一步就是数据库中的内容与检索的内容进行匹配，符合匹配要求的话就根据相关业务处理。 在NLP中，我们可以认为是要让机器去理解检索内容，然后从现有数据库中返回对应内容。从这看文本匹配就是NLU（Nature Language Understand ,自然语言理解）中的核心内容了。 再延展一下，搜索这项功能在我们生活中也是太多太多。大众一点就是搜索引擎，商品搜索等，在问题系统中可以匹配相似的问题，然后返回对应答案等。 文本匹配包括监督学习方法以及非监督
BM25检索算法 python
消极的人永远是对的，积极的人选择勇往直前
04-23 2957
BM25（Best Matching 25）是一种经典的信息检索算法，是基于 TF-IDF算法的改进版本，旨在解决、TF-IDF算法的一些不足之处。其被广泛应用于信息检索领域的排名函数，用于估计文档D与用户查询Q之间的相关性。它是一种基于概率检索框架的改进，特别是在处理长文档和短查询时表现出色。BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。目前被广泛运用的搜索引擎ES就内置了BM25算法进行全文检索。
BM25
西二旗小码农
08-02 2213
黄天不服苦心人，终于实现了，用trac（最早那个版本700M数据）的数据测了一下，和lucene的原有算法排序基本一致，共享一下代码：很粗陋，还需要改很多： package org.apache.lucene.BM25; import java.io.IOExceptio
SEO技术：文本相似度-bm25算法原理及实现
FaTiao.Net的博客
07-16 421
前面提到过TF-IDF算法（TF-IDF算法原理及公式）与之更进一步算法BM25相关度也是处理关键词相关性中重要的算法其中。 那么 TF 和 IDF 谁更重要呢，怎么计算最终的相关性得分呢？那就是 BM25。 BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。 本文整理了多篇有关BM25相关度算法原理形成本文供
【短文本相似度】传统方法BM25解决短文本相似度问题.pdf
09-18
短文本相似度问题的解决方法在自然语言处理和...综上所述，BM25算法作为传统方法，经过时间的考验，依然是解决短文本相似度问题的有效工具。通过上述的介绍和代码实现，我们可以更好地理解和应用BM25算法于实际问题中。
搜索引擎相关度算法 -BM25 JAVA实现
看山不是山
12-05 2788
bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模型提出的算法。 它的出现主要是解决TF-IDF算法中 TF的影响可无限增大的不足，本质上BM25是基于TF-IDF并做了改进的算法。 如图所示，传统的TF-IDF算法中 词频的影响程度是无限增大的，换而言之就是关键词出现的越频繁，TF-IDF相关度就越高。稍微有点简单粗暴；而BM25算法就是让词频的影响到达一定程...
python-bm25:python的BM25加权方案的实现
05-16
python-bm25 python的BM25加权方案的实现
相关性算法BM25
09-21
BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法BM25算法
BM25算法
kevin_darkelf的专栏
06-10 9138
BM25 is a bag-of-words retrieval function that ranks a set of documents based on the query terms appearing in each document, regardless of the inter-relationship between the query terms within a docum
经典检索算法：BM25算法
weixin_42631192的博客
06-11 3243
bm25 是什么？ bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模型提出的算法，再用简单的话来描述下bm25算法：我们有一个query和一批文档Ds，现在要计算query和每篇文档D之间的相关性分数，我们的做法是，先对query进行切分，得到单词qiq_iqi​，然后单词的分数由3部分组成： 单词qiq_iqi​和D之间的相关性 单词qiq_iqi​和D之间的相关性 ...
BM25模型
m0_61417342的博客
06-14 719
BM25实验
关于BM25
qq_43422201的博客
03-04 1236
相对完整的介绍了在IR领域重要的相关性打分算法BM25.后续如果有更深的体会也会进行更新.BM25算法公式由三个主要的模块构成–词在文档中的相关度,词在查询关键字中的相关度以及词的权重(IDF).BM25算法是一个长期积累的经验公式,是一个简单高效基础基于词袋的无监督的learning-to-rank的算法,但是并没有考虑词之间的相关性,是在词的基础上进行统计计算,没有深入到语义层面....
信息检索之BM25算法
m0_37565948的博客
03-18 820
BM25算法参考文档，搜索引擎中的相关应用。 import math import jieba class BM25(object): def __init__(self, docs): self.D = len(docs) # 训练集的文本数量 self.avgdl = sum([len(doc)+0.0 for doc in docs])/s...
bm25算法python
08-12
BM25算法是一种用于文本检索和文档排序的算法。在Python中，可以使用gensim库中的bm25模块来实现BM25算法。下面是一个示例代码，用于展示如何使用BM25算法进行文本分类： ```python from gensim.summarization import bm25 import jieba def gensim_bm25_word_classification(test_word): corpus = [ ['高', '血', '压', '高血', '血压'], ['糖', '尿', '病'], ['精', '神', '病'] ] corpus_dic = { '高血压': ['高', '血', '压', '高血', '血压'], '糖尿病': ['糖', '尿', '病'], '精神病': ['精', '神', '病'] } bm25Model = bm25.BM25(corpus) # 构建BM25模型 test_word = list(test_word) # 将测试文本转为列表 scores = bm25Model.get_scores(test_word) # 计算相关性分数 print('测试短文本：', test_word) for i, j in zip(scores, corpus): for m in corpus_dic.keys(): if j == corpus_dic[m]: word_name = m print('分值：{},原词：{}'.format(i, word_name)) test_word = '高血压的症状是什么' # 设置测试文本 gensim_bm25_word_classification(test_word) ``` 以上代码演示了如何使用BM25算法对文本进行分类，根据测试文本的相关性分数来判断其属于哪个类别。在这个例子中，我们使用了一个简单的文本分类任务，将测试文本与预定义的文本集进行匹配，得到相关性分数并输出对应的类别名称。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Python bm25短文本分类，相似度识别，BM25算法相似度匹配，疾病相似度匹配gensim实现，bm25算法原理和实现...](https://blog.csdn.net/L_goodboy/article/details/124415418)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值