【论文笔记】检索还是生成回复?RAG:我都要

RAG是Facebook AI research等机构提出的结合检索和生成的问答模型,它利用检索器获取相关文档,再通过序列生成模型生成回复。RAG在开放域问答和问题生成任务上表现出色,提供了一种利用外部知识增强生成效果的方法。
摘要由CSDN通过智能技术生成

引言

在问答和对话的场景下,通常可以通过检索和生成两种方式得到一个回复。检索式回复是在外部知识库中检索出满意的回复,较为可靠和可控,但回复缺乏多样性;而生成式回复则依赖于强大的语言模型中储存的内部知识,不可控,解释性差,但能生成更丰富的回复。把检索和生成结合起来,Facebook AI research 联合 UCL 和纽约大学于 2020 年提出外部知识检索加持下的生成模型,Retrieval-Augmented Generation (RAG)

论文名称:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
论文地址:http://arxiv.org/abs/2005.11401
论文代码:https://github.com/huggingface/transformers/tree/master/examples/research_projects/rag

模型结构

RAG 由两部分组成,第一部分负责根据 query x x x 检索出 top-k 个匹配的文档 z i z_i z

  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值