本文是LLM系列文章,针对《Augmented Large Language Models with Parametric Knowledge Guiding》的翻译。
摘要
大型语言模型(LLM)凭借其令人印象深刻的语言理解和生成能力,显著提高了自然语言处理(NLP)。然而,由于对相关数据的了解有限,对于需要专业知识的特定领域任务,它们的性能可能不太理想。此外,大多数最先进的LLM(只能通过API访问)缺乏透明度,阻碍了对域自定义数据的进一步微调。此外,向LLM所有者提供私人数据会导致数据隐私问题。为了应对这些挑战,我们提出了一种新的参数化知识引导(PKG)框架,该框架为LLM配备了一个知识引导模块,以便在不改变LLM参数的情况下访问相关知识。我们的PKG基于开源的“白盒”语言模型,允许LLM所需的任何知识的离线存储。我们证明,我们的PKG框架可以提高“黑匣子”LLM在一系列领域知识密集型任务中的性能,这些任务需要事实(+7.9%)、表格(+111.9%)、医学(+3.0%)和多模态(+8.1%)知识。