最大边界相关法（Maximal Marginal Relevance）的总结

最新推荐文章于 2024-12-19 04:37:48 发布
最新推荐文章于 2024-12-19 04:37:48 发布
阅读量1.2w 收藏 5
点赞数 5
分类专栏： 查询扩展 文章标签： 查询扩展 算法 文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Eliza1130/article/details/24033161
版权
MMR（Maximal Marginal Relevance）是文档重排序的方法，旨在平衡相关性和冗余。通过公式计算，选择使MMR最大的文档进行排序。首先使用简单信息检索方法获取初始K个文档，然后按MMR策略逐步构建有序集合，调整参数k和lambda以优化效果。该方法常用于查询扩展和文档摘要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MMR（Maximal Marginal Relevance）是一种重新确定文档序值的方法。

具体公式如下：


由上述公式可以看出sim(Q,di)代表的是di的相关性，而sim(di,dj)代表的是di的冗余性；

而MMR的核心，即在权衡这两种性质，即redundancy=cost,relevance=benefit

具体重定序的算法如下：


解释：

为了得到最初的k个文档，可以采用其他比较简单的信息检索方法（IR），如普通法，分段法，追溯法等，这样得到起始的K个文档，即总的文档集；

再从中选择与Query最接近的一篇文档，标记为第一个文档，然后将其从K个文档中去掉，作为有序集合，即R；

最低0.47元/天 解锁文章
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性
aehrutktrjk的博客
09-11 1010
最大边际相关性是一种在信息检索和自然语言处理中广泛使用的算法。它的核心思想是在选择相关项目的同时，也要考虑已选项目之间的多样性。找出与输入最相似的示例在添加新示例时，考虑它们与已选示例的不同程度通过平衡相关性和多样性，优化最终选择的示例集最大边际相关性(MMR)是一种强大的示例选择方法，能够在相关性和多样性之间取得平衡。通过LangChain提供的工具，我们可以轻松地在自然语言处理任务中应用MMR，从而提高模型的性能和泛化能力。
摘要抽取算法——最大边界相关算法MMR(Maximal Marginal Relevance) 实践
sjyttkl的专栏
06-22 1862
NLP(自然语言处理)领域一个特别重要的任务叫做——文本摘要自动生成。此任务的主要目的是快速的抽取出一篇文章的主要内容，这样读者就能够通过最少的文字，了解到文章最要想表达的内容。由于抽取出来的摘要表达出了文章最主要的含义，所以在做长文本分类任务时，我们可以采用文本摘要算法将长文本的摘要抽取出来，在采用短文本分类模型去做文本分类，有时会起到出奇的好效果。 文本摘要自动生成算法 文本摘要抽取算法主要分为两大类： 一种是生成式：生成式一般采用的是监督式学习算法，最常见的就是sequence2sequence
摘要抽取算法——最大边界相关算法MMR(Maximal Marginal Relevance)
lzay的博客
08-09 1684
用途 快速的抽取出一篇文章的主要内容，这样读者就能够通过最少的文字，了解到文章最要想表达的内容 方法 一种是生成式：生成式一般采用的是监督式学习算法，最常见的就是seq2seq模型，需要大量的训练数据。 生成式的优点是模型可以学会自己总结文章的内容，而它的缺点是生成的摘要可能会出现语句不通顺的情况。 另一种是抽取式：常见的算法是 textrank，MMR(Maximal Marginal Relevance)，当然也可以采用深度学习算法。 抽取式指的摘要是从文章中抽出一些重要的句子，代表整篇文章的内容。 抽
MMR（最大边界相关算法）
Forlogenの解忧杂货铺
10-09 6761
最大边界相关算法 用于计算查询文本和搜索文档之间的相似度，然后对文档进行排序。算法公式为MMR(Q,C,R)=Argmax⁡di,in,ck[λsim(Q,di)−(a−λ)max⁡dj,k(sim(di,dj))]\text{MMR}(Q,C,R) = Arg \max_{d_{i},in,c}^k [\lambda sim(Q,d_{i}) - (a- \lambda) \max_{d_{j}...
深度学习 - 52.推荐场景的多样性与 MMR [Maximal Marginal Relevance] 简介与 Python 实现
BITDDD小栈
05-31 2525
MMR 最大边界相关算法与多样性简介与实现。
MMR自动摘要 python实现
Jemila
09-08 6815
MMR的全称为Maximal Marginal Relevance ，中文名字为最大边界相关法或者最大边缘相关。 它主要是用于提取文本的摘要，这种提取方式与textrank不同，textrank偏向于取全文的重要句子进行排序形成摘要，忽略了其多样性。
在基本IR模型之上的一些技术
07-08
**最大边界相关法（Maximal Marginal Relevance, MMR）**是一种文档排序策略，旨在寻找最能同时最大化查询相关性和与已选择文档差异性的文档。MMR的目标是平衡相关性和多样性，以提供更全面的搜索结果。 **基于片段...
Python实现利用MMR提取自动摘要
melon0014的博客
08-02 2799
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...
最大边缘相关（Maximal Marginal Relevance，MMR）对文档重排序
jiangyongy的专栏
11-27 4059
采用MMR（Maximal Marginal Relevance）算法对文档diverse ranking。     从MMR的公式中可以看出，diverse ranking的实现是权衡Query与Document相关性和Document间的冗余性的结果。 用MMR进行文档重定序的计算方法： 1. 用常用IR方法取得前K个文档记Dr= IR(C, Q, K) 2.
【AI知识点】最大边际相关性搜索（Maximal Marginal Relevance Search，MMR）
AI完全体
11-02 1440
最大边际相关性搜索（Maximal Marginal Relevance Search，MMR） 是一种在信息检索和文本摘要生成中常用的技术，旨在平衡搜索结果的相关性和多样性。该方法通过避免检索结果中的冗余信息，使得返回的结果既与查询高度相关，又在内容上相对多样化，从而提高信息的覆盖度。
TextRank方法的优化——MMR(最大边界相关算法)
weixin_42318554的博客
05-02 1468
文章目录TextRank方法的优化——MMR(最大边界相关算法)一、文件目录二、TextRank(main.py)实验结果 TextRank方法的优化——MMR(最大边界相关算法) TextRank的优点： 在于不需要标注数据，不需要进行预训练，效果尚可。但是缺点也很明显。从其核心思想可以看出来，它挑选摘要句时会侧重于挑选那些与很多句子相似度高的句子。因此，最后会导致挑选的很多句子冗余度比较高，从而遗漏一些带有其他主题信息却“势单力薄“的句子。 MMR算法： 又叫最大边界相关算法，此算法在设计之初是用来计
使用最大边界相关算法处理文章自动摘要
My52Hz
01-31 697
对于博客或者文章来说，摘要是普遍性的需求。但是我们不可能让作者自己手动填写摘要或者直接暴力截取文章的部分段落作为摘要，这样既不符合逻辑又不具有代表性，那么，是否有相关的算法或者数学理论能够完成这个需求呢？我想，MMR(Maximal Marginal Relevance)是处理文章自动摘要的杰出代表。
自动摘要生成(一）：最大边界相关算法(MMR)
热门推荐
ZJRN1027的博客
07-25 1万+
分享一下前一段时间公司需要做的文章自动摘要。 一.摘要方法 目前来说，文章摘要自动生成主要分为两种方法：生成式和抽取式。 生成式采用sequence2sequence+Attention的模型，采用Encoder-Decoder的结构，具体方法可以阅读这篇论文：https://arxiv.org/pdf/1509.00685.pdf 抽取式则是通过关键词筛选等方法，从原文中截取句子组成摘要...
使用langchain与你自己的数据对话(四)：问答(question answering)
weixin_42608414的博客
08-01 7387
今天我们介绍了如何通过答链RetrievalQA，来检索向量数据库并回答用户的问题。其中我们介绍了几种RetrievalQA检索向量数据库的工作方式，也就是chain type方式，其实默认方式是stuff，除此之外还有map_reduce，refine, map_rerank等几种方式，它们都有各自的优缺点。同时我们还介绍了通过使用prompt模板，可以让LLM返回格式化的结果。希望今天的内容对大家学习langchain有所帮助!
掌握最大边际相关性（MMR）：如何选择示例以优化相似性和多样性
最新发布
asdfujhgy的博客
12-19 234
最大边际相关性在示例选择中扮演了重要角色，它使得机器学习模型在训练时能够利用多样性丰富的示例，从而在面对未知数据时表现更出色。
从相似性到多样性：深入理解最大边际相关性示例选择器
bhawfgrcbtwny的博客
10-14 396
MMR使用嵌入生成技术，通过余弦相似性计算输入与示例之间的相似性，接着逐步添加示例，同时对已经选择的示例进行惩罚以维持多样性。MMR是一种强大的示例选择策略，在保持相似性的同时，增强了多样性。它非常适用于需要高准确性和多样性的NLP任务。你可以进一步探索Langchain文档和OpenAI API指南以深入了解这些技术。
推荐系统:最大边缘相关多样性算法(MMR)(python实现)
Mercedes_wwz的博客
10-12 1827
MMR论文 Q：用户 R：待排序商品集合 S：已排序商品集合 D：商品 Maximal Marginal Relevance(MMR)主要通过结合用户对于商品的喜爱程度与商品间的相似度加权求和，从而对商品进行重排精排 class MMRModel(object): # def __init__(self,item_score_dict,similarity_matrix,lambda_constant,topN): # self.item_score_dict = item_s
blog13 使用最大边际相关性的核心方法返回排名前N的嵌入候选词（2）
qq_46765753的博客
12-14 1320
2021SC@SDUSC
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值