LLM论文:LLatrieval (LLatrieval: LLM-Verified Retrieval for Verifiable Generation)

地址:https://arxiv.org/abs/2311.07838

时间2023.11.14提交到arxiv
背景检索器检索到的文章,拿去给大模型生成,大模型是被动接受。如果检索质量不行,大模型就发挥不了它的强大能力。
解决提出LLatrieve , 由LLM参与判断所检索出来的文章是否支持答案
创新点

LLM参与评判检索结果

这是一篇文章的思想很容易理解,用下面这一张图就可以讲清楚,而这几乎是本文的所有思想了。本文的价值在于完成了这个简单的思想,并开源了代码,为以后的研究做打基础。

Retrieval Verification

这是用来判别所给文档能否支持回答问题的组件。

有两种判别方式,分类式直接给LLM指令,让它输出是或否

打分过滤式,现让大模型打一个分数,再人为设置一个门槛,分数比门槛高就是支持否则不支持。

Progressive Selection

滑动窗口, 每次滑进来几个候选文档,由LLM决定去留。

Missing-Info Querying

给LLM指令,问它如果要回答问题,现有的参考文档中还缺什么。

整体步骤:

  1. miss-info query去问是否有缺失信息(一开始肯定是有缺失,因为参考文档集一开始初始化是空的)
  2. 通过上一步得到候选参考文档D,使用Progressive Selection选择能够支持的文档。
  3. 使用Retrieval Verification判断是否能够支持,如果不能返回第一步;否则结束。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

__心似大海__

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值