Infusing Knowledge into Large Language Models with Contextual Prompts

本文是LLM系列文章，针对《Infusing Knowledge into Large Language Models with Contextual Prompts》的翻译。

摘要

知识注入是一种很有前途的方法，可以增强特定领域NLP任务的大型语言模型，而不是从头开始对大型数据进行预训练模型。这些增强的LLM通常依赖于来自现有知识图谱的额外预训练或知识提示，这在许多应用中是不切实际的。相比之下，直接从相关文档中注入知识更具普遍性，减轻了对结构化知识图的需求，同时对通常在任何知识图谱中都找不到的实体也很有用。基于这一动机，我们提出了一种简单而通用的知识注入方法，通过在输入文本中的上下文中生成提示。我们的实验表明了我们的方法的有效性，我们通过探索微调LLM来评估该方法。

1 引言

2 相关工作

3 知识与长下文的融合

4 实验

结论

我们提出了一种将知识注入大型语言模型（LLM）的替代方法，该方法不假设知识图谱（KG）的存在。我们使用搜索索引来提供相关的句子，以便在微调知识注入过程中与输入提示一起用作上下文。关系提取和尾部预测任务的结果表明，使用上下文可以提高知识注入的程度。