知识增强语言模型提示 零样本知识图谱问答10.8+10.11

摘要

大型语言模型（LLM）能够执行 零样本closed-book问答任务 ，依靠其在预训练期间存储在参数中的内部知识。然而，这种内部化的知识可能是不足和错误的，这可能导致LLM生成错误的答案。此外，对LLM进行微调以更新其知识是昂贵的。为此，本文提议直接在LLM的输入中增加知识。具体而言，首先根据问题与相关事实之间的语义相似性从知识图谱中检索与输入问题相关的事实。然后，将检索到的事实以提示的形式前置到输入问题之前，然后将其转发给LLM生成答案。本文提出的框架，称为knowledge-Augmented language model PromptING（KAPING），无需模型训练，因此完全是零样本的。

还验证了KAPING框架在知识图谱问答任务上的性能，该任务旨在基于知识图谱上的事实回答用户的问题，在此任务上，本文的方法在多个不同规模的LLM上相对于相关的零样本基线平均提高了高达48%的性能。

Closed-book问答任务指在回答问题时，模型只能依靠其在预训练阶段学到的知识，而无法进行额外的外部搜索或引用。这意味着在回答问题时，模型不能直接访问互联网或其他外部资源。
Zero-shot closed-book问答任务是一种更具挑战性的闭书问答任务，其中模型在没有任何先前训练的情况下，无需额外的模型微调或更新，直接回答问题。
在传统的闭书问答任务中，模型需要在预训练后进行微调，以根据特定的问题集和答案集进行调整。而在zero-shot closed-book问答任务中，模型不需要进行任何额外的调整或微调，仍然可以回答新问题。
这种任务要求模型能够利用其预训练阶段学到的通用语言理解和推理能力，以及内部的知识表示来解决新问题。模型需要将问题与其内部知识进行联结，从而推断出答案，而无需对任务进行特定的针对性训练。
在zero-shot closed-book问答任务中，模型通常会使用问题的提示信息或关键词来引导答案的生成。模型会利用其预训练的语言表示能力和对内部知识的理解，以及与问题相关的提示信息，生成可能的答案。

介绍

预训练语言模型通过自监督学习在大量文本语料上进行训练，可以执行闭书问答（closed-book Question Answering，QA）任务，即仅依靠其内部参数中的知识来回答用户的问题，而不使用任何外部知识。此外，当增加语言模型的规模时，大型语言模型可以在没有任何额外微调步骤的情况下为问题生成答案，这称为语言模型提示（LM prompting）。然而，由于LLMs中的知识可能是不完整、错误和过时的，它们经常会生成事实上错误的答案，即所谓的幻觉（hallucination）（见图1a）。此外，通过参数更新来完善LLMs中的知识是昂贵的，特别是当知识不断变化时（例如货币汇率）。最后，LLMs是否正在获取正确的知识来回答问题尚不清楚。

为了克服这些限制，本文提出直接检索和注入相关知识作为输入，称为提示（prompt），传递给LLMs（图1b）。使用知识图谱作为知识源，其中包含以三元组形式表示的符号知识（头实体、关系、尾实体）。因此，为了提取与输入问题相关的事实，首先将问题中的实体与知识图谱中的实体进行匹配。然后，与知识图谱中的实体相关联的三元组被转化为文本形式，并 前置到输入问题前面 ，然后传递给LLMs生成答案。

“前置到输入问题前”
指的是将相关知识直接插入到输入问题之前，作为输入序列的一部分。在传统的问答系统中，只有输入问题作为模型的输入，模型需要通过自身的预训练知识来回答问题。而在这种方法中，我们将从知识图谱中提取的相关知识以文本形式添加到输入问题之前，形成一个新的输入序列。
举个例子，假设有一个问题：
“谁是美国的第一位总统？”。
如果我们有一个知识图谱，并且知道其中包含了以下三元组：（美国，首都，华盛顿）和（华盛顿，位于，哥伦比亚特区）。那么，在前置知识的情况下，我们可以将这些知识转化为文本形式：
“美国的首都是华盛顿，华盛顿位于哥伦比亚特区。”
然后将这个文本知识添加到原始问题之前，形成新的输入序列：
“美国的首都是华盛顿，华盛顿位于哥伦比亚特区。谁是美国的第一位总统？”。
通过这种方式，语言模型在生成答案时可以同时考虑问题和前置的知识，从而能够更好地利用外部知识来提高答案的准确性和相关性。这种前置知识的方法可以帮助语言模型更好地理解问题的上下文和意图，避免产生基于不准确或过时知识的错误答案。

因此，基于事实知识的LLMs能够生成准确的答案，减轻了幻觉问题，同时保持LLMs的参数不变，无需进行知识更新的微调。整体框架称为Knowledge-Augmented language model PromptING（KAPING），它完全是零样本的，并且可以与任何现成的LLMs一起使用，无需额外的训练。

虽然上述方案看起来简单而有效，但还存在一些挑战。
首先，与问题实体相关的大多数检索到的三元组与回答给定问题无关。例如，在维基数据知识图谱中为问题实体（例如Poseidon）检索相关的三元组时，存在60个三元组，其中大多数（例如流派、出版日期等）与回答问题无关。因此，它们可能会误导模型生成错误的答案。
另一方面，问题实体的三元组数量有时很大（例如，WebQSP数据集中有27％的样本有超过1000个三元组），因此编码包括不必要的所有三元组会带来很高的计算成本，特别是对于大型语言模型来说。

为了克服这些挑战，受信息检索的启发，进一步提出了 基于语义相似性过滤不必要三元组 的方法。具体而言，首先将问题及其相关的语言化三元组表示为嵌入空间中的向量。然后，检索出一小部分三元组，其嵌入与输入问题的嵌入相比其他三元组更接近。这样，只将与给定问题更相关的三元组前置，可以有效防止大型语言模型生成与问题无关的答案，并且具有高的计算效率，不像增加所有三元组的方法那样。值得注意的是，这种过滤方法使用 现成的句子嵌入模型，因此在我们的流程的每个部分都不需要额外的训练。