【论文笔记】检索还是生成回复？RAG：我都要

引言

在问答和对话的场景下，通常可以通过检索和生成两种方式得到一个回复。检索式回复是在外部知识库中检索出满意的回复，较为可靠和可控，但回复缺乏多样性；而生成式回复则依赖于强大的语言模型中储存的内部知识，不可控，解释性差，但能生成更丰富的回复。把检索和生成结合起来，Facebook AI research 联合 UCL 和纽约大学于 2020 年提出外部知识检索加持下的生成模型，Retrieval-Augmented Generation (RAG)。

论文名称：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
论文地址：http://arxiv.org/abs/2005.11401
论文代码：https://github.com/huggingface/transformers/tree/master/examples/research_projects/rag

模型结构

RAG 由两部分组成，第一部分负责根据 query $x$ 检索出 top-k 个匹配的文档 z i z_i