本文是LLM系列文章,针对《Infusing Knowledge into Large Language Models with Contextual Prompts》的翻译。
摘要
知识注入是一种很有前途的方法,可以增强特定领域NLP任务的大型语言模型,而不是从头开始对大型数据进行预训练模型。这些增强的LLM通常依赖于来自现有知识图谱的额外预训练或知识提示,这在许多应用中是不切实际的。相比之下,直接从相关文档中注入知识更具普遍性,减轻了对结构化知识图的需求,同时对通常在任何知识图谱中都找不到的实体也很有用。基于这一动机,我们提出了一种简单而通用的知识注入方法,通过在输入文本中的上下文中生成提示。我们的实验表明了我们的方法的有效性,我们通过探索微调LLM来评估该方法。
1 引言
2 相关工作
3 知识与长下文的融合
4 实验
结论
我们提出了一种将知识注入大型语言模型(LLM)的替代方法,该方法不假设知识图谱(KG)的存在。我们使用搜索索引来提供相关的句子,以便在微调知识注入过程中与输入提示一起用作上下文。关系提取和尾部预测任务的结果表明,使用上下文可以