本文是LLM系列的文章,针对《Decoupling Knowledge from Memorization:
Retrieval
摘要
提示学习方法在仍然遵循基于参数的学习范式的同时,通过诱导更好的小样本表现,在自然语言处理中掀起了波澜;学习中的遗忘和死记硬背问题可能会遇到不稳定的泛化问题。具体来说,在完全监督的训练中,朴素的提示学习可能很难死记硬背地利用非典型实例,或者用低样本数据过度拟合浅层模式。为了缓解这些限制,我们开发了RETROPROMPT,其动机是将知识与记忆脱钩,以帮助模型在泛化和记忆之间取得平衡。与普通的提示学习相比,RETROPROPT从训练实例中构建了一个开卷知识库,并在输入、训练和推理过程中实现了检索机制,从而使模型能够从训练语料库中检索相关上下文作为增强的线索。大量的实验表明,RETROPROPT可以在小样本和零样本设置中获得更好的性能。此外,我们还进一步说明了我们提出的RETROPROPT可以在新的数据集上产生更好的泛化能力。对记忆的详细分析确实表明,RETROPROMPT可以减少语言模型对记忆的依赖;因此,提高了下游任务的泛化能力。