REPLUG: Retrieval-Augmented Black-Box Language Models 论文阅读 REPLUG只是将检索到的文档添加到冻结的黑盒LM的输入中，就相较于目前流行的大语言模型及检索增强的语言模型有了很强的提升，并且这种简单的设计可以很容易地应用于任何现有的检索和语言模型。论文还提出了REPLUG的升级版 REPLUG LSR， 获得了更好的效果。
RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读 很多参数知识存储在LLMs中的参数中（LAMA这篇文章证明），针对下游任务微调之后可以取得SOTA效果。但是这种方式具有一定的劣势：在Open-QA任务上，仍然还很欠缺，（语言模型还不能很好的获取精确知识）、给出的答案不具有可解释性，对于知识库无法实现实时更新的效果，不便于更新。论文提出RAG：参数化知识（BART预训练学到的知识） ＋ 非参数化知识（维基百科的密集向量索引）结合的方式来解决这三类问题。开放域问答。
REALM: Retrieval-Augmented Language Model Pre-Training 论文阅读 本文对开放领域的问答（Open-QA）提出一种简单有效的预训练方法。模型首先从无标注文档中提出一句话，随机抹去其中的部分字符，然后根据被掩码后的句子，从文档集中提取最符合的文档，二者再拼接起来送入模型，预测被掩码的那些字符。在预测的时候，也是首先把问题送入模型，得到最符合的文档，再一起送入模型，从文档中抽取span作为答案。此外，本文还提出一些其他技巧用于加速训练、增强训练效果。实验表明，这种方法能比之前的最好结果有大幅增加。
LinkBERT: Pretraining Language Models with Document Links 论文阅读 作者发现在目前的LM（语言模型）中，预训练阶段都只能学习到一篇文章的知识，而不能获得跨文档的依赖知识。基于这个问题作者提出了LinkBERT模型，该模型对多跳推理和小样本QA领域上效果很好。
Rethinking with Retrieval: Faithful Large Language Model Inference 论文总结 在三种情景下（常识推理，时态推理，表格式推理）应用RR方法，发现效果均好于文中使用的baseline：CoT（chain of thinking）提示的GPT-3、Zero-shot/few-shot prompting的GPT-3。前人的工作大多都是基于检索增强的LMs（如BERT，T5，RoBERTa），通过整合外部知识来提高模型的可信度，但是目前大多数的方法都是使用预训练模型处理数据，再针对于不同的下游任务额外引入针对性的知识库来进行额外的训练和微调，但是这会造成很大的额外开销。
关注
