BM25算法

最新推荐文章于 2024-04-29 15:18:30 发布
最新推荐文章于 2024-04-29 15:18:30 发布
阅读量8.2k 收藏 30
点赞数 4
文章标签： p2p 网络协议 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011366281/article/details/124573890
版权

BM25算法 - 简书

BM25算法, Best Matching - 知乎

BM25是目前信息索引领域最主流的计算query与文档相似度得分的算法。BM 是Best Match最佳匹配的缩写，25指的是第25次算法迭代。

BM25的一般公式：

Score\left ( Q,d \right )=\sum_{i}^{n}W_{i}R(q_{i},d)

其中Q 表示query, q_{i} 表示query中的分词，d表示文档。W_{i}表示切词权重，R代表切词和文档的相关性。

具体来说，它是一种基于概率检索模型提出的算法，BM25的计算主要有几个部分组成：

  1. query中每个分词的重要性
  2. query中每个分词和文档之间的相关性
  3. query中每个单词与query的相关性（只有当query很长时才会使用)

分别对BM25的组成部分进行解读：

1、W_{i} 表示分词权重

这里就是IDF：IDF\left ( q_{i} \right )=log\frac{N-df_{i}+0.5}{df_{i}+0.5}

其中，N表示索引中全部文档数量，df_{i} 表示了包含了切词q_{i}的文档个数。依据IDF的作用，对于q_{i}

来说，包含q_{i} 的文档数越多，说明q_{i} 的重要性越小，或者区分度越低；可以使用IDF来刻画q_{i} 与文档的相似性。 

2、分词和文档的相关性

  3、分词与query的相关性

 4、BM25的最终公式

 

 

       

夏天的小白兔
关注
  • 4
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TF-IDF和BM25算法原理及python实现
12-21
1 TF-IDF TF-IDF是英文Term Frequency–Inverse Document Frequency的缩写，中文叫做词频-逆文档频率。 一个用户问题与一个标准问题的TF-IDF相似度，是将用户问题中每一词与标准问题计算得到的TF-IDF值求和。计算公式如下： TF-IDF算法，计算较快，但是存在着缺点，由于它只考虑词频的因素，没有体现出词汇在文中上下文的地位，因此不能够很好的突出语义信息。 import numpy as np class TF_IDF_Model(object): def __init__(self, documents_list):
文本相似度bm25算法的原理以及Python实现(jupyter notebook)
深圳湾刘能的博客
07-31 9003
今天我们一起来学习一下自然语言处理中的bm25算法，bm25算法是常见的用来计算query和文章相关度的相似度的。其实这个算法的原理很简单，就是将需要计算的query分词成w1，w2，…，wn，然后求出每一个词和文章的相关度，最后将这些相关度进行累加，最终就可以的得到文本相似度计算结果。 首先我们来看一下bm25算法的计算公式： Score(Q,d)=∑inWi⋅R(qi,d)Score(Q,...
文本相似度查询html代码,文本相似度-bm25算法原理及实现
weixin_34098296的博客
06-09 221
原理BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。BM25算法的一般性公式如下：其中，Q表示Query，qi表示Q解析之后的一个语素(对中文而言，我们可以把对Query的分词作为语素分析，每个词看成语素...
BM25（Best Matching 25）算法基本思想
NLP工程化
01-14 1473
BM25（Best Matching 25）是一种用于信息检索（Information Retrieval）和文本挖掘的算法，它被广泛应用于搜索引擎和相关领域。BM25 基于 TF-IDF（Term Frequency-Inverse Document Frequency）的思想，但对其进行了改进以考虑文档的长度等因素。
Python bm25短文本分类，相似度识别，BM25算法相似度匹配，疾病相似度匹配gensim实现，bm25算法原理和实现实例
L_goodboy的博客
04-26 4869
Python bm25短文本分类，相似度识别，BM25算法相似度匹配，疾病相似度匹配gensim实现，bm25算法原理和实现实例
BM25，超全解释
m0_72410588的博客
06-15 3757
BM25算法是一种用于信息检索的算法，可以根据文档和查询条件之间的相似度来计算文档与查询条件之间的匹配程度得分。该算法考虑了文档长度、查询项频率和文档频率等因素，并在计算匹配得分时进行加权。本篇博客详细介绍了BM25算法的原理、应用、算法流程和公式解析等方面，以及其优缺点，希望对您有所帮助。
BM25 文本相似度算法
小小码农
07-11 4022
BM25, 下一代的TF-IDF 新版的lucence不再把TF-IDF作为默认的相关性算法，而是采用了BM25(BM是Best Matching的意思)。BM25是基于TF-IDF并做了改进的算法。 BM25算法，通常用来作搜索相关性评分。 一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进...
BM25算法介绍
发呆的比目鱼的博客
11-23 9310
BM25算法介绍
BM25：信息检索的核心算法解析
诸神缄默不语的博客
11-21 627
本文介绍BM25算法
BM25算法详解
huanxingchen1的博客
04-19 1782
BM25（Best Matching）算法是当前信息检索领域主流的文本匹配算法，主要内容是计算query到文档集合的相似度得分。BM25可以视作Tf-IDF算法的优化。
山东大学 信息检索技术课设 BM25算法实现
07-15
2020年陈竹敏老师教授的信息检索技术的课设解决方案，语言为python，在提供的baseline基础上进行了一定的修改，包括文档预处理（停用词去除，大小写转换）等处理，MMR可达0.5。
介绍TFIDF与BM25的优秀PPT
06-23
介绍从TFIDF到BM25的优秀PPT
BM25算法浅析
04-24
BM25算法浅析
BM25算法浅析.doc
09-20
算法学习：BM25算法浅析
移动端应用（APP）如何设计测试用例？
2301_79535733的博客
04-25 897
设计APP的测试用例还需要不断地以用户体验为中心，关注细节，并针对不同操作系统的特性和限制进行专门的测试。选择适当的测试类型，如功能测试、兼容性测试、性能测试、安全性测试、可用性测试等。的特殊性，如不同的操作系统、设备尺寸、硬件特性以及应用程序自身的特定功能。这样的测试不仅能够确保APP的质量，还能够帮助提供更好的用户体验。确定测试的优先级和重点区域，比如核心功能、用户界面、性能等。测试不同网络条件下的APP表现，如Wi-Fi、4G、断网。考虑APP与其他APP的交互，如分享功能、第三方登录。
HTTP 网络协议的请求头信息，响应头信息，具体详解（2024-04-26）
hap1994的博客
04-26 1095
HTTP 响应头信息是服务器在响应客户端的HTTP请求时发送的一系列头字段，它们提供了关于响应的附加信息和服务器的指令。这些响应头信息在实际的 HTTP 响应中可能会有所不同，具体值取决于服务器的配置和处理逻辑。
HTTP网络协议的请求方法，具体详解（2024-04-26）
hap1994的博客
04-26 1379
即，是一种实现和服务器之间通信的响应协议，它是用作客户端和服务器之间的请求根据 HTTP 标准，HTTP 请求可以使用多种请求方法。
计算机网络
最新发布
Circ
04-29 761
想象河边两个人的情况，如果不是三次握手挥手啥情况：为了防止服务器一直等，等到黄花菜都凉了。为了防止客户端已经失效的连接请求突然又传送到了服务器。关闭连接时，客户端向服务端发送 FIN 时，仅仅表示客户端不再发送数据了但是还能接收数据。服务端收到客户端的 FIN 报文时，先回一个 ACK 应答报文，而服务端可能还有数据需要处理和发送，等服务端不再发送数据时，才发送 FIN 报文给客户端来表示同意现在关闭连接。
bm25算法python
08-12
BM25算法是一种用于文本检索和文档排序的算法。在Python中，可以使用gensim库中的bm25模块来实现BM25算法。下面是一个示例代码，用于展示如何使用BM25算法进行文本分类： ```python from gensim.summarization import bm25 import jieba def gensim_bm25_word_classification(test_word): corpus = [ ['高', '血', '压', '高血', '血压'], ['糖', '尿', '病'], ['精', '神', '病'] ] corpus_dic = { '高血压': ['高', '血', '压', '高血', '血压'], '糖尿病': ['糖', '尿', '病'], '精神病': ['精', '神', '病'] } bm25Model = bm25.BM25(corpus) # 构建BM25模型 test_word = list(test_word) # 将测试文本转为列表 scores = bm25Model.get_scores(test_word) # 计算相关性分数 print('测试短文本：', test_word) for i, j in zip(scores, corpus): for m in corpus_dic.keys(): if j == corpus_dic[m]: word_name = m print('分值：{},原词：{}'.format(i, word_name)) test_word = '高血压的症状是什么' # 设置测试文本 gensim_bm25_word_classification(test_word) ``` 以上代码演示了如何使用BM25算法对文本进行分类，根据测试文本的相关性分数来判断其属于哪个类别。在这个例子中，我们使用了一个简单的文本分类任务，将测试文本与预定义的文本集进行匹配，得到相关性分数并输出对应的类别名称。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Python bm25短文本分类，相似度识别，BM25算法相似度匹配，疾病相似度匹配gensim实现，bm25算法原理和实现...](https://blog.csdn.net/L_goodboy/article/details/124415418)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值