【论文笔记】检索还是生成回复?RAG:我都要 Facebook AI research 联合 UCL 和纽约大学于 2020 年提出外部知识检索加持下的生成模型,Retrieval-Augmented Generation (RAG)
【论文笔记】OPTIPROMPT:用prompt提取预训练模型中的客观事实 目录引言论文介绍1. Continuous prompt2. Prompt是否真的有用思考总结引言像BERT这样的预训练模型学习了大规模语料的词分布,同时也学习了语料中的客观事实。基于这样的直觉,Petroni et al. (2019)提出LAMA模型,首次从BERT中以完形填空的方式提取客观事实,探究语言模型中包含多少客观知识。他们将BERT的准确度看作预训练模型含客观事实的比例的下界。客观事实任务被定义为三元组(subject, relation, object)+表示关系的人工设计模版。表示关