地址:https://arxiv.org/abs/2311.07838
时间 | 2023.11.14提交到arxiv |
背景 | 检索器检索到的文章,拿去给大模型生成,大模型是被动接受。如果检索质量不行,大模型就发挥不了它的强大能力。 |
解决 | 提出LLatrieve , 由LLM参与判断所检索出来的文章是否支持答案 |
创新点 | LLM参与评判检索结果 |
这是一篇文章的思想很容易理解,用下面这一张图就可以讲清楚,而这几乎是本文的所有思想了。本文的价值在于完成了这个简单的思想,并开源了代码,为以后的研究做打基础。
Retrieval Verification
这是用来判别所给文档能否支持回答问题的组件。
有两种判别方式,分类式直接给LLM指令,让它输出是或否
打分过滤式,现让大模型打一个分数,再人为设置一个门槛,分数比门槛高就是支持否则不支持。
Progressive Selection
滑动窗口, 每次滑进来几个候选文档,由LLM决定去留。
Missing-Info Querying
给LLM指令,问它如果要回答问题,现有的参考文档中还缺什么。
整体步骤:
- miss-info query去问是否有缺失信息(一开始肯定是有缺失,因为参考文档集一开始初始化是空的)
- 通过上一步得到候选参考文档D,使用Progressive Selection选择能够支持的文档。
- 使用Retrieval Verification判断是否能够支持,如果不能返回第一步;否则结束。