前沿重器[38] | 微软新文query2doc：用大模型做query检索拓展

最新推荐文章于 2024-09-14 12:14:59 发布

机智的叉烧

最新推荐文章于 2024-09-14 12:14:59 发布

阅读量1k

点赞数 1

本文链接：https://blog.csdn.net/baidu_25854831/article/details/134635996

版权

文章介绍了大语言模型在Query2doc中的应用，通过预训练模型生成答案扩展查询，以提高检索召回率。尽管存在模型大小、幻觉问题和性能挑战，但实验证明了这种方法的有效性，同时强调了现实应用中需要解决的细节问题和优化方向。

摘要由CSDN通过智能技术生成

前沿重器

栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。（算起来，专项启动已经是20年的事了！）

2023年文章合集发布了！在这里：又添十万字-CS的陋室2023年文章合集来袭

往期回顾

目前比较主流的检索方案主要是字面检索（sparse，稀疏）和向量检索（dense，稠密），然而检索哪怕是到了现在也一直有一个很大的困境，就是query对文档文段的召回，一直是存在困难的，因为两者无论是信息还是语义，其实都有很大的鸿沟，一般地，大家常用的方式有诸如“将qa匹配转化为qq匹配”、query改写、同义词、通过用户反馈构造匹配模型等手段，今天给大家介绍的一个方案，是通过大模型的手段来进行改写。

论文：Query2doc: Query Expansion with Large Language Models

整篇论文其实没讲什么很高端的手段，而且本身也不需要什么很特别的工作，然而这个工作所带来的提升还不小，可操作性和实用性可以说是拉满了，有兴趣的可以直接看看论文，难度非常小。

拓展方法

文章的思想非常简单，就是在开始检索之前，先用query让模型生成一次答案，然后把query和答案合并送给模型。

举个例子，例如用户输入的是“儿童防沉迷”，原来是直接把“儿童防沉迷”直接用于检索，输入检索库中进行召回，然而现在，我们会结合prompt，先输入给大模型，并得到大模型的结果：

输入：
什么是儿童防沉迷。
要求，用大约100字回复。
------------------
输出：（结果来自chatglm2-int8）
儿童防沉迷是指避免儿童沉迷于网络、游戏、电子书等电子娱乐活动,保护儿童身心健康和防止未成年人受到网络游戏沉迷、网络信息诈骗等问题的影响。为了实现这一目标,家长和社会应该共同努力,对儿童进行网络安全教育,限制儿童使用电子产品的时间和内容,并营造良好的家庭氛围,鼓励儿童积极参与有益身心的活动,如运动、阅读、艺术等。

可以看到，相比原始query儿童防沉迷，还拓展了大量的相关信息，例如游戏、网络、未成年人等，这些词汇很直观地，能扩展更多概念解释，对提升召回肯定是有好处的。

改写是改写玩了，但是要放进去检索，更好地进行召回，还是有些技巧的，按照论文，对字面检索和向量检索，都有一些特定的设计。

首先是字面检索，因为模型的生成多半会很长，所以在相似度计算的过程中，会稀释，所以在拼接过程中，需要对原始query复制几份再来拼接，用公式来描述，就是这样，其中d‘是大模型生成的内容，n是复制的次数：

然后是向量检索，因为向量召回的泛化能力是比较强的，因此不需要复制，直接拼接起来就好了：

然而相比字面检索，最大的困难并不在拼接，而在于训练，因为输入和文档仍旧不是一个分布（两者语义并不相同甚至完全不相同，只是匹配），所以仍旧离不开训练，不过为了体现拓展的部分的效果，此处还是使用比较朴素的训练方案，即根据用户点击之类的行为构造数据集，并使用BM25等的方式获得难负例。