Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-E

Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint
----
通过上下文信息熵约束的自适应解码来识别和解决知识冲突

中国科学院自动化研究所复杂系统认知与​​决策智能实验室

2中国科学院大学人工智能学院

3北京人工智能研究院

4云知声人工智能科技有限公司

摘要

大型语言模型在预训练过程中内化了大量的参数知识。同时，现实的应用程序需要外部上下文知识来帮助底层任务的模型。这引发了一个被称为知识冲突的关键困境，即上下文知识与参数知识发生冲突。然而，现有的解码工作专门用于解决知识冲突，并且在没有冲突的情况下可能会无意中降低性能。在本文中，我们提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），以识别知识冲突是否发生并解决它们。它可以提高模型对冲突上下文的忠实度，同时在非冲突上下文中保持高性能。我们的实验表明，COIECD 在现实数据集中的知识冲突方面表现出强大的性能和鲁棒性。代码可用。

1 简介

大型语言模型 (LLM) 的特点是参数内含大量知识（Petroni 等人，2019；Geva 等人，2021b；Roberts 等人，2020），在各个领域开创了众多突破（Vaswani 等人）等人，2017 年；Devlin 等人，2018 年；Brown 等人，2020 年；Chung 等人，2022 年；Touvron 等人，2023 年）。与此同时，LLM与不太流行的事实知识作斗争（Mallen 等人，2023），从根本上无法随着时间的推移而适应（Lazaridou 等人，2021；Kasai 等人，2022）并且容易出现幻觉（Shuster 等人，2022）。 2021）。这些挑战需要通过检索（Shi et al., 2023b）或应用工具（Schick et al., 2023）来纳入非参数知识源。然而，它引发了一个尖锐的困境：Longpre 等人定义的知识冲突。 （2021），其中非参数上下文知识与内部参数知识冲突。先前的工作（Longpre et al., 2021; Chen et al., 2022; Li et al., 2023a; Zhou et al., 2023; Wang et al., 2023c）已经指出，当面对冲突时，较大的模型具有更大的当给定的上下文与模型的参数知识相矛盾时，倾向于忽略给定的上下文。如图 1 所示，由于模型对其参数知识的偏见，它无法在相互冲突的上下文中得出答案。

图1：知识冲突的说明。由于模型对其过时的参数知识的偏见，它无法在最新的上下文中准确地给出答案，这与LM的知识相冲突。

知识冲突解决方法的早期尝试通过数据增强来微调像 T5 (Raffel et al., 2020) 这样的小规模模型，例如 KAFT (Li et al., 2023a) 和 DisentQA (Neeman et al., 2023a) 和 DisentQA (Neeman et al., 2023a)。 ，2023）。这些微调方法存在破坏模型内在语言能力的风险（Dong et al., 2023）。另一系列工作在推理过程中采用了各种解码策略。例如，对比解码（CD）（Li et al., 2023b; Wang et al., 2023a）利用上下文影响的差异对模型高概率单词的概率分布进行解码。另一种代表性方法是上下文感知解码（CAD）（Shi et al., 2023a），它利用 CD 来放大所有单词的上下文分布。然而，在没有冲突的情况下，现有的解码方法可能会无意中降低性能。如图 2 所示，虽然这些方法有效地缓解了知识冲突对参数记忆的过度依赖，但它们的性能在从 NaturalQuestions 数据集派生的非冲突数据上恶化。通常，这些方法通常在实验场景下工作，其中所有上下文都被假定为固有冲突，而不考虑现实场景中是否存在冲突。因此，我们认为核心问题在于：如何在推理过程中辨别上下文和LLM之间的知识冲突。

为此，本文提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），旨在识别知识冲突并对冲突和非冲突数据采用不同的策略。鉴于 LLM 往往经过良好校准（Kadavath 等人，2022）并且它们的世代通常位于狭窄且几乎平坦的熵带中（Arora 等人，2023），我们采用了一种自适应解码策略，该策略仅减轻当 LLM 生成的token违反熵信息约束（带）时会发生冲突。具体来说，在识别知识冲突时，重要的是要考虑LLM是否已经与上下文知识保持一致。如果是这样，上下文生成的熵就不会发生剧烈的变化。因此，我们建议通过测量token级别的分布熵的变化来识别知识冲突，然后对冲突和非冲突令牌采用量身定制的解码策略。

我们在几个流行的上下文特定问答 (QA) 数据集上对 COIECD 进行基准测试，包括 NaturalQuestions (NQ) (Kwiatkowski et al., 2019)、SQuAD 1.1 (Rajpurkar et al., 2016)、StrategyQA (Geva et al., 2021a)和反事实（Longpre 等人，2021）。在所有任务中，与基线相比，COIECD 都实现了优越或有竞争力的性能，证明了我们方法的有效性和稳健性。

总结起来，该论文的亮点如下：

本研究提出了上下文信息熵约束来辨别LLM参数知识和非参数上下文知识之间的知识冲突。该约束已被证明在现实数据集中是有效的，其特点是冲突的不可预测性。

本文开发了定制的解码策略来解决基于上下文信息熵约束的知识冲突。实验结果表明，我们的方法显着增强了模型对冲突上下文的忠实度，并在不同的数据集和模型中表现出增强的性能和鲁棒性。

2 相关工作

当遇到具有冲突知识的外部环境时，先前的研究（Longpre 等人，2021；Chen 等人，2022）指出，较大的模型更倾向于忽略冲突的环境。现有的提高模型对上下文的忠实度的方法，例如基于提示的方法（Zhou et al., 2023），仅限于特定指令微调的LLM，并不普遍适用。其他方法则通过反事实上下文对 T5（Raffel 等人，2020）等小规模模型进行微调，例如 KAFT（Li 等人，2023a）和 DisentQA（Neeman 等人，2023）。王等人。 (2023c) 提出了一个评估框架，用于模拟情境知识冲突并定量评估LLM实现这些目标的程度。

另一系列工作在推理过程中采用了各种解码策略。 SC（Wang et al., 2023b）提出了这样的想法：复杂的 QA 问题通常会采用多种不同的思维方式来得出其独特的正确答案。它充当通用增强解码策略。 CD（Li et al., 2023b）采用了对比对象，它测量两个分布之间的差异以方便解码。在解决知识冲突时，根据有上下文和无上下文的输出概率来评估这种差异。庄等人。 （2023）提出了对比层解码来增强真实性，这偏离了我们的重点。与我们的工作最相似的是 CAD (Shi et al., 2023a) 方法。它广泛地放大了所有单词的上下文分布，而不考虑冲突上下文的存在，这是我们工作旨在解决的限制。

3 上下文信息-熵约束解码

辨别冲突（§3.1）。

首先，我们认为，如果上下文与模型参数具有一致的知识，则该上下文可能是模型的自然生成。1它促使我们采用稳定熵假设（Arora et al., 2023）和局部典型理论设置 (Meister et al., 2023)2 来衡量上下文中是否存在不自然的标记（冲突知识），这表明听起来自然的语言理想情况下应该限制在特定范围内。基于这两种理论，我们引入了一种新颖的解码约束，称为上下文信息熵约束，其目的是识别token的违规行为，从而导致由于知识冲突而导致上下文生成减少，如图 3 所示。

图 2：冲突场景和非冲突场景的说明。现有的方法可以熟练地处理冲突，但很难解决非冲突的环境。下表说明了现有冲突解决方法和常规解码方法在不同冲突比率数据上的 EM 分数。括号内的数字是常规方法和当前方法之间的差异。更详细的分析参见附录 A。

图 3：上图：基于上下文信息熵约束，落入约束下限或上限违规区域的标记通常与冲突相关。下图：对于冲突和非冲突令牌采用不同的解码策略。

解决冲突（§3.2）。

然后我们实施定制的解码策略，以满足识别为冲突或非冲突的标记。对于不冲突的标记，模型预计会引用参数知识和上下文知识。对于冲突的标记，模型应优先考虑上下文知识。为此，我们计算了一个上下文对比对象（Li et al., 2023b），它表示从上下文中得出的分布差异。然后利用该对象根据上下文信息熵约束来可变地调整令牌分布。

3.1 上下文信息-熵约束

我们假设，如果上下文知识与模型的参数知识一致，那么上下文可以在某种程度上成为模型的连贯且自然的生成。在这种情况下，自然语言生成的特征适用于非冲突上下文。鉴于LLM往往经过良好校准（Kadavath 等人，2022）并且他们的世代通常位于狭窄且几乎平坦的熵带中（Arora 等人，2023），我们精心设计了一个上下文约束来衡量变化分布熵和token信息的结合，用它作为识别token粒度级别知识冲突的指标。

我们根据 Arora 等人给出的问题 x 和生成的历史 y<t 来定义生成的标记 yt 的熵。 (2023) 作为

为简洁起见，我们使用 H1(yt) 表示问题 x 和生成历史 y<t 上的条件分布的熵，H2(yt) 表示 x、y<t 和假设生成 c 的熵条件。

稳定熵假说（Arora et al., 2023）提出，自然语言生成通常位于狭窄且平坦的熵带中。当我们假设一个不冲突的上下文可以作为模型的自然生成而出现时，熵位移应该遵守界限。偏离它可能表明存在潜在的冲突背景。在这种情况下，准确识别哪些反映冲突的特定标记可能导致模型在生成过程中超出其熵界限变得至关重要。为了解决这个问题，我们利用局部典型集（Meister et al., 2023）通过信息熵移位的以下界限来识别标记。证明详见附录 C。

命题 3.1（受限于信息熵位移）。随机变量的信息内容被量化为其负对数概率（Meister et al., 2023）。令 token yt 的信息内容为 I(yt) = − log p(yt | x, c, y<t)，我们将信息熵偏移定义为：I(yt) − H1(yt)。对于常数 γ > 0，以下界限成立：

换句话说，信息熵偏移可以由某个表示为 γ 的常数来限制。这意味着，如果标记的转变遵守此约束，我们可以将其视为非冲突上下文生成的合理候选者。相反，任何对令牌的违反都表明很有可能存在潜在的冲突。

为了将边界形式化为解码约束，我们遵循解码技术中流行的约束范式，例如核采样（Holtzman et al., 2019）和CD（Li et al., 2023b）。我们使用 softmax 函数将信息熵转变归一化为分布：

然后我们有一个上限 upδ 和一个下限 lpδ 来约束解码时的词汇子集：

这里 λ 是 (0, 1] 中的缩放因子，I 是指示函数。方程 7 意味着下界概率 lpδ 在多个标记表现出概率 pδ(yt) 低于 l′ pδ 的情况下取值.否则, lpδ 设置为 0, 表示只有一个单独的 token 违反了下界. 它反映了模型的高置信度, 该 token 不存在冲突. 基于该界限, 约束子集 C(y<t) ⊆ V如下：

 3.2 自适应解码

在对冲突和非冲突标记采用不同的解码策略之前，首先，我们定义：

根据 Shi 等人的说法，参数知识从模型的输出分布中分解为 p1。 （2023a）。包含上下文的输出分布 p2 可以解释为上下文感知知识，它集成了来自参数和上下文的知识。然后计算上下文对比对象 g (Li et al., 2023b) 来量化 p1 和 p2 之间的差异：

其目的是缩小上下文带来的差异。它假设 p1 更倾向于产生符合模型参数知识的输出。 g 是排除模型的固有记忆并支持上下文知识。

基于g，针对由所提出的上下文信息熵约束区分的标记，区分解码策略。对于冲突的标记，模型预计会优先考虑上下文知识。为了促进这一点，策略性地使用 g 来强化上下文感知知识 p2。对于非冲突的标记，鼓励模型更多地依赖参数知识，而不是完全依赖于上下文。该策略源于对上下文知识潜在局限性的认识，上下文知识可能不全面，无法完全解决查询。因此，本文强调参数化知识p1的重要性，同时仍然考虑情境因素。为了实现这一点，将 g 与其合并。总体而言，上下文信息熵约束与输出分布 π 上的 g 一起使用，如下所示：

其中 α 是控制上下文影响的缩放权重。最终的解码策略可以形式化为：

 通过这种方式，COIECD 在两种知识来源之间取得平衡，以实现更有效、更全面的解码策略。

4 实验

4.1 实验设置

数据集。我们对多个公共 QA 数据集进行了实验，包括 NaturalQuestions (Kwiatkowski et al., 2019)、SQuAD 1.1 (Rajpurkar et al., 2016) 和 StrategyQA (Geva et al., 2021a)。与所有数据都由合成冲突组成的先前研究不同，我们采用原始数据集并将它们视为由冲突（Conf.）和非冲突（Non-Conf.）数据组成的混合数据集。它可以激发现实环境中冲突发生的不可预测性。然后我们采用LLM中参数知识的后验判断（Wang et al., 2023d）来识别第4.3节中数据集中的知识冲突。

此外，我们还合并了 Counterfacts 数据集（Longpre 等人，2021）以促进更全面的分析。反事实完全由合成的冲突数据组成，其中所有原始答案都被上下文中其他看似合理的实体所取代。附录 E 中提供了每个数据集的简要介绍和统计数据。我们按照 Ren 等人的提示应用提示指令。 (2023) 评估所有模型的 QA 能力。

使用过LLM。我们的实验是在预训练的语言模型上进行的，包括自回归模型：LLaMA2 模型（7B、13B 参数）（Touvron et al., 2023）、OPT 模型（6.7B、13B 参数）（Zhang et al., 2022）以及编码器-解码器语言模型：FLAN-T5（3B、11B 参数）（Chung 等人，2022）。实验结果具有每个模型中单一尺寸的代表性结果。其他结果，包括 GPT-3.5 和 GPT-4 在这些数据集上的性能比较分析，详见附录 J。

基线

。我们采用四种解码方法作为基线：常规解码、自一致性（SC）（Wang等人，2023b）、对比解码（CD）（Li等人，2023b）和上下文感知解码（CAD）（Shi等人） al., 2023a).3 CD和CAD专门用于解决知识冲突，而SC是增强模型性能的通用解码策略。常规解码采用标准的贪婪策略，将问题和上下文集成为输入。根据 Wang 等人的说法，对于 SC，每个问题需要多个样本，在温度 t = 0.5 的情况下对 40 个输出进行采样。 （2023b）。对于其他方法，温度 t = 0 遵循先前的工作。所有解码方法均在零样本设置下进行评估。 λ和α的值分别设置为0.25和1。附录 G 中提供了详细的分析抽样策略。

指标。继之前的工作（Chen et al., 2017；Izacard and Grave, 2021；Sun et al., 2023）之后，我们使用精确匹配（EM）和 F1 分数来评估法学硕士的 QA 表现。对于 StrategyQA 中的二元分类，使用准确度作为度量。

4.2 整体性能

表 1 列出了 QA 数据集的结果。总体而言，COIECD 在所有基线比较中都表现出一致的改进。 SC 方法产生的结果与常规方法类似，但略有增加。冲突解决方法（即 CD 和 CAD）的性能因模型和数据集而异，与常规方法相比表现出不一致的变化。相反，COIECD 在现实数据集（NQ、SQuAD 和 StrategyQA）中持续实现改进，并在合成 Counterfacts 数据集中保持竞争性能。结果最终证明了 COIECD 在不同冲突场景下的各种数据集上具有一致的有效性和适应性。

表 1：总的来说，COIECD 比基线实现了稳定的最佳性能。 Regular：常规解码，SC：自洽，CD：对比解码，CAD：上下文感知解码。与常规相比的最佳分数以粗体显示。括号内的数字是常规方法和当前方法之间的差异。不同尺寸模型的结果详见表 12-14。

Counterfacts 数据集的结果表明，大多数方法都表现出性能增强。经过仔细检查，可以发现 CAD 的优势主要在反事实场景中明显，优于除 FLAN-T5 之外的其他方法。尽管如此，COIECD 仍然表现出卓越的鲁棒性，在各种模型中保持具有竞争力的性能。

4.3 Conf 上的性能＆非冲突。数据。

如表2所示，由于CD和CAD专门解决知识冲突，因此它们可以处理Conf。数据好。然而，在非冲突数据中。数据集上，两者都表现出性能显着下降，在 SQuAD 数据集上下降幅度高达 -11.86 EM 分数。这一发现凸显了这些方法的固有局限性，特别是在知识一致性较高的场景中，其应用尤其具有挑战性。

常规在处理冲突方面效率最低。与非冲突数据相比。 data4，在 LLaMA2 模型上下降了近 50%。这一观察结果与之前的研究一致，表明较大的模型在与模型的参数知识冲突时更容易忽视上下文。此外，SC采用多代投票策略。它自然在Non-Conf.上有更好的效果，但无法处理Conf.上的冲突。相比之下，拟议的 COIECD 全面考虑了给定背景和LLM之间的冲突和非冲突。结果，它在 Total 上获得了最佳性能。而且它在 Non-Conf. 和 Conf. 上也比 CD 和 CAD 具有更好的结果。在大多数数据集中。

总而言之，无论是 SC、CD 还是 CAD，每一种都是为 Conf.或非冲突。在一种情况下取​​得相对较好的结果，而在另一种情况下不可避免地表现不佳。相比之下，我们的自适应解码方法考虑了这两种情况，实现了在所有数据集中都有效的权衡。

4.4 不同冲突数据比例的性能

我们进行了进一步的实验，旨在了解数据中冲突的存在如何影响这些方法的性能（以 EM 分数来衡量）。我们建立了两个实验场景：一个由来自 NQ 数据集中的冲突和非冲突数据的样本组成的现实世界冲突场景，以及由相同的非冲突数据和在 NQ 上构建的合成 Counterfacts 采样的合成冲突场景。如图 4 和图 5 所示，我们可视化了两种场景下冲突数据的比例与不同方法的性能之间的相关性。

图 4：与 Conf 的现实冲突。

图 5：与反事实的综合冲突

冲突比例下的性能下降。这两个数字都揭示了随着冲突比例升级，常规系统性能下降的普遍趋势。常规和 SC 在 0% 冲突时显示出最高的初始 EM 分数，但随着冲突的增加，也显示出最显着的下降。它表明这些方法严重依赖于参数和上下文的知识一致性。 CAD 在所有冲突级别上表现出最低的性能，表明它可能是专门为具有最大冲突的数据集而设计的。 COIECD 的性能下降速度最慢，表明它具有减轻冲突数据影响的能力。总体而言，与其他组织相比，COIECD 似乎更能应对冲突。

现实场景和合成场景之间的差距。仔细检查图 4 和图 5，我们发现 CAD 和 CD 的性能随着冲突的增加而表现出很大的变化。在综合场景中，当不发生冲突时，它们大幅低于Regular，但随着知识冲突比例的增加而逐渐上升。这种趋势在现实数据中并不存在。此外，在现实情况下，冲突对新兴市场的影响更为明显。这可能是因为与合成冲突相比，现实冲突的性质更具挑战性或更微妙。总之，解码方法的能力不能仅通过单个反事实数据的性能来验证。为了解决更现实的场景，COIECD 方法成为最佳选择。

5 结论

引入COIECD方法来有效识别和解决知识冲突。使用真实数据集和合成数据集对上下文相关的 QA 任务评估该方法。研究结果表明，无论数据中是否存在知识冲突，COIECD 都能保持始终如一的高性能。