本文提出了一种名为上下文RALM的方法，它在不改变语言模型架构的情况下，通过结合现成检索器提供的相关文档来提升语言建模性能。这种方法在不同规模的模型和语料库中展现出显著的优势，并且探讨了针对LM的文档检索和排序优化策略，为开放域问答等任务提供改进。上下文RALM降低了对昂贵微调的依赖，为预训练LM的知识注入开辟了新途径。
本文是LLM系列文章，针对《In-Context Retrieval-Augmented Language Models》的翻译。
上下文检索增强语言模型
摘要
检索增强语言建模（RALM）方法在生成过程中对基础语料库中的相关文档设置语言模型（LM），可以显著提高语言建模性能。此外，它们可以缓解事实上不准确的文本生成问题，并提供自然的来源归因机制。现有的RALM方法侧重于修改LM体系结构，以促进外部信息的合并，从而使部署显著复杂化。本文考虑了一个简单的替代方案，我们称之为上下文RALM：保持LM架构不变，并为输入准备基础文档，而不需要对LM进行任何进一步的训练。我们发现，建立在现成的通用检索器上的上下文RALM在模型大小和不同的语料库中提供了惊人的大LM增益。我们还证明了文档检索和排序机制可以专门用于RALM设置，以进一步提高性能。我们得出的结论是，In-Context RALM在增加LM基准的流行率方面具有相当大的潜力，特别是在必须在不修改甚至通过API访问的情况下使用预训练的LM的情况下。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
