Making Large Language Models Perform Better in Knowledge Graph Completion

三月七꧁ ꧂

于 2024-10-10 21:53:33 发布

阅读量457

点赞数 17

分类专栏：论文合集文章标签：语言模型知识图谱人工智能 langchain prompt 自然语言处理

本文链接：https://blog.csdn.net/weixin_43961909/article/details/142832517

版权

论文合集专栏收录该内容

76 篇文章 0 订阅

订阅专栏

文章目录

题目

使大型语言模型在知识图完成中表现更好

在这里插入图片描述

论文地址：https://arxiv.org/abs/2310.06671
项目地址：https://github.com/zjukg/KoPA

摘要

基于大型语言模型(LLM)的知识图补全(KGC)旨在用LLM预测知识集中缺失的三元组。然而，关于基于LLM的KGC的研究未能充分利用LLM的推理能力，忽略了kg的关键结构信息。在本文中，我们探索了将结构信息整合到LLMs中的方法，其首要目标是促进结构感知推理。我们首先讨论了现有的LLM范式，如上下文学习和教学调整，提出了基本的结构信息注入方法。然后，我们提出了一个知识前缀适配器(KoPA)来实现这一目标。KoPA使用一个结构性的预训练阶段来理解kg内部复杂的实体和关系，将它们表示为结构嵌入。然后，KoPA通过知识前缀适配器将这种跨模态结构信息理解传递给LLMs，该知识前缀适配器将结构嵌入投射到文本空间中，并获得定位为输入提示的前缀的虚拟知识标记。我们进行了全面的实验，并就跨模态结构信息的引入如何更好地提高LLM的事实知识推理能力提供了精辟的分析。我们的代码和数据可在https://github.com/zjukg/KoPA.获得

引言

知识图(KGs) [2]是现代AI的精髓智慧精华和关键基础设施。kg以三重形式表示和存储现实世界的知识:(头实体、关系、尾实体)。这种知识三元组的结构化格式在许多人工智能领域提供了显著的优势，如推荐系统[30]、问题回答[42]和故障分析[7]。然而，无论是手动管理还是自动提取，KGs都有一个相关的缺点。它们的范围仅限于观察到的知识，导致不完整的表示充满了未观察到的或缺失的三元组。这种现象激发了知识图完成(KGC)，其目的是预测缺失的三元组并进一步增强给定的KG。

在这里插入图片描述

图1:基于LLM的KGC的一个简单例子。描述实体周围信息的有用结构信息可以作为辅助提示，并指导LLM做出正确的决策。

现有的KGC方法可以分为两类:基于嵌入的方法[3]和预训练语言模型(PLM) [40]。最近，随着大型语言模型(LLM)[23，46]显示出超越能力[24]，这个领域最近已经被LLM彻底改变了。一些作品[41]向基于LLM的KGC迈出了第一步，采用了现有的范例，如零触发推理(ZSR) [4]和指令调整(IT) [24]来完成KGC任务。然而，这种方法将KGC任务转化为基于文本的单个三元组预测，导致特定的基本问题。LLM缺乏事实知识的深度和精确性，这总是导致LLM的幻觉[48]问题。此外，知识的结构复杂性，如子图结构、关系模式和相关实体/关系经常被忽视。这种丰富的非文本结构信息，如果恰当地结合，可以大大增强LLM对知识的理解和表达。图1直观地展示了结构信息对于LLM推理的重要性。然而，香草ZSR忽略了这一点，它接近[41]，因为每个输入通常只包括一个单一的输入三元组，导致潜在的浪费结构信息固有的公斤。这种方法无法使后勤管理人员了解KG结构。

为了解决这些问题，我们向基于LLM的KGC迈出了战略性的一步，旨在探索如何将KG结构信息整合到LLM中，并实现结构感知推理。我们最初的重点是将现有的LLM范式，如上下文学习(ICL) [9]和指令调整(IT) [24]转移到结构感知上下文。我们提出了一个结构感知的ICL方法和一个结构感知的信息技术方法作为基础模型，重点在于通过文本形式将KG结构信息集成到LLM中。这种方法得益于这样一个事实，即KG中存在关于实体和关系的特定文本信息，因此我们可以使用文本来表示这些知识作为补充背景信息，期望LLM可以通过文本提示学习KG中的局部结构信息。但是它们也有明显的缺点，即结构信息和文本信息之间存在明显的语义鸿沟。扩展提示中的文本描述仍然不能充分利用复杂KG中的结构信息。

此外，我们提出了一种新的知识前缀适配器(KoPA)方法，使LLMs成为更好的知识推理机，利用结构嵌入预训练来捕获KG结构信息。然后KoPA通过一个知识前缀适配器将结构嵌入转换到文本嵌入空间，得到多个虚拟知识令牌。这些标记在输入提示序列中充当前缀，指导指令调整过程，提供有价值的补充输入三元组信息。这种结构嵌入到文本形式的映射为输入三元组提供了辅助信息。此外，我们进行了全面的分析和实验，突出了KoPA的卓越性能和可移植性。总之，我们的贡献有三个方面:扩展现有的LLM范式。我们首次广泛研究了基于LLM的KGC方法，特别是通过引入KG结构信息来增强LLM的推理能力。我们讨论了使用额外的文本提示，使现有的LLM范例(如ICL和IT)适应KGC的结构感知设置的管道。

设计新的跨模态LLM范例。我们进一步提出了一个知识前缀适配器(KoPA ),它有效地集成了预先训练的KG结构嵌入和LLMs。KoPA促进了来自LLM的文本嵌入和来自KGs的结构嵌入之间的全面的跨模态交互，以增强LLM的推理能力。综合评估。我们在三个公共基准上进行了大量的实验，并评估了我们提出的所有结构感知方法的KGC性能，进行了充分的基准比较，进一步探讨了迁移能力和知识保留程度。

基于LLM的KGC的基本设置

符号和预备知识A KG可以表示为G = (E，R，T，D)其中E，R分别是实体集，关系集。T = {(ℎ，𝑟，𝑡) | ℎ，𝑡 ∈ E，𝑟 ∈ R}是三元组集合，d是每个实体和关系的描述集。我们将D (𝑒)，D (𝑟)表示为每个实体𝑒 ∈ E和每个关系𝑟 ∈ R的简短文本描述。例如，实体“/m/0ctzf1”的文本描述是D(‘/m/0ctzf1’)=“变压器”。当将LLM应用于KGC任务时，我们将LLM表示为充当文本解码器的M。模型M的输入文本序列S由几个部分组成:指令提示I、三重提示X和可选的辅助演示提示u。指令提示I是手动准备的指令，用于指导LLM M执行KGC任务。三元组提示x包含需要处理的三元组的文本信息，可以表示为X (ℎ，𝑟，𝑡) = D (ℎ) ⊕ D (𝑟) ⊕ D (𝑡)，其中(№，⅖，⅖)∈t是三元组,↑表示文本标记拼接操作。

换句话说，ℎ、𝑟、𝑡的简短描述将被用作输入信息。辅助演示提示U是不同设置的可选提示。在下文中，我们将遵循这组符号。同时，我们以三重分类为切入点，研究如何利用LLM来完成KGC任务。三元组分类是一个基本的KGC任务，旨在对给定的三元组执行二元分类任务。而在LLM范式中，所有的任务都被转换成文本生成的形式。因此，给定文本序列输入S = I ⊕ U ⊕ X，我们希望模型m回答真或假

三重分类不同于普通文本分类，因为提示中的实体和关系具有由给定KG定义的复杂语义信息。没有这类信息的知识，模型响应是不可靠和不稳定的。尽管LLMs [48]中存在大量常识知识，但研究表明，大型模型对细粒度的事实知识麻木不仁，会陷入幻觉。因此，将KG信息合并到提示中以提供更多的辅助信息并指导LLM进行结构感知推理是实现优秀的基于LLM的KGC的关键。

扩展现有的LLM范式在本节中，我们首先讨论如何使用现有的主流LLM范式(称为免训练推理方法和指令调整方法)来解决KGC任务。免培训推理方法。无训练推理方法促使LLM在没有训练的情况下得到直接答案。常见的免培训方法包括零起点推理(ZSR)和语境学习(ICL)。对于ZSR，我们直接利用序列S𝑧𝑠𝑟 = I ⊕ X作为输入得到预测结果。LLM M的解码过程可以被公式化为: 在这里插入图片描述
其中a是模型m的生成答案，I𝑧𝑠𝑟是ZSR的指令模板。在ZSR设置中，没有KG信息被添加到输入序列S𝑧𝑠𝑟.中ZSR提示中的决定性信息只是测试三元组的文本描述。ZSR由于其设置限制，无法纳入公斤信息，否则，它不能被称为零射击。作为另一种免训练范式，情境学习(ICL) [9]允许模型M在输入S中加入辅助演示U，以类比推理的形式完成任务，可以表示为: 在这里插入图片描述
至于三元组分类任务，示范u应该是一些三元组及其标签的形式为{(X𝑖，𝑦𝑖)，1 ≤ 𝑖 ≤ 𝑘}，其中X𝑖为示范三元组，𝑦𝑖为标签。我们将𝑘示威游行的ICL称为𝑘-shot ICL。

示范三人组可以从现有的训练公斤中随机抽取。但是，为了进一步纳入测试三元组(ℎ、𝑟、𝑡)的相关KG信息，我们建议对ℎ和𝑡的本地结构中的三元组进行抽样，这意味着每个抽样三元组中的实体之一应该是ℎ或𝑡.此外，由于现有的KG仅由正三元组组成，我们采用负采样[21]来采样负三元组以进行演示。对于平衡预测，正三元组和负三元组的数量是相同的。在演示提示中，正三元组被标记为真，负三元组被标记为假。

通过这样做，我们将局部结构信息结合到带有正样本和负样本的演示提示U中。这种结构感知演示可以更好地增强m型的类比推理过程。指令调整方法。指令调优方法利用指令模板对LLMs进行微调，以激活LLMs的指令跟随能力。普通指令调整利用输入S𝑖𝑡来微调LLM。指令提示I𝑖𝑡将描述完成三元组分类任务的细节，三元组提示x由输入三元组组成。

输入模板中不包括其他辅助演示。为了训练模型m，输入序列被组织为S𝑖𝑡 = I𝑖𝑡 ⊕ X ⊕ A𝑖𝑡，其中A𝑖𝑡是训练数据的预测答案。使用下一个单词预测任务[49]对模型M进行微调，这是训练LLM的通用方法。培训目标可以表述为: 在这里插入图片描述

其中𝑠𝑖(𝑖 = 1，2，.。。，|S𝑖𝑡 |)表示输入序列S𝑖𝑡.的文本标记在推理阶段，使用modelM来预测测试数据的答案A𝑖𝑡，如等式1。此外，负采样[21]也用于生成负数据样本，因为训练KG仅由正三元组组成。

为了将语义丰富的KG信息结合到LLM中，我们还提出了一种结构感知的指令调整方法，通过在输入提示中添加一跳邻域结构信息来通知LLM本地结构信息。如前所述，KG的结构信息在KGC任务中发挥着重要作用[37]。为了在微调阶段合并这样的KG信息，我们通过添加输入三元组的邻域描述来实现这个目标。具体来说，我们可以采样头部ℎ和尾部𝑡的邻域，并将邻域三元组的文本描述放在演示提示U𝑖𝑡.中这样，输入训练序列被增强为s𝑖𝑡=i𝑖𝑡⊕u𝑖𝑡⊕×⊕a𝑖𝑡.

因此，我们详细讨论了现有的LLM范式如何引入关于kg的局部结构信息，以进一步增强模型性能。然而，尽管这些方法在某种程度上可行，但它们有明显的缺点。这种结合KG结构信息的textbf基本方法集中于将邻域信息添加到文本形式的输入提示中。但是，用文本表示KG结构信息并不是一个好的选择，这可能会给提示带来更多无效或冗余的信息。无限增加提示长度是不可伸缩的，也是无效的，因为长上下文会导致模型能力下降和高计算消耗。此外，我们也很难在KGs中找到决定三重歧视的结构信息。这两个问题让我们进退两难。

在这里插入图片描述
图2:我们对知识前缀适配器(KoPA)的概述。KoPA首先为给定KG中的实体和关系预先训练结构嵌入，然后使用指令调整来微调LLM。给定输入三元组的结构嵌入将由适配器投射到LLM的文本空间中，并用作输入序列前面的前缀标记，由于仅解码器LLM中的单向注意机制，这可以被后面的文本标记“看到”。

方法

为了解决这些问题，我们提出了知识前缀适配器(简称KoPA)来将KG结构信息整合到KGC的LLM中。图2展示了KoPA的直观视图。首先，我们通过结构嵌入预训练从KG中提取实体和关系的结构信息，然后我们通过结构前缀适配器将这些结构信息通知给LLM输入序列s。我们将在接下来的几节中讨论我们设计的细节。

结构嵌入预训练KoPA通过自我监督的结构嵌入预训练来提取实体和关系的结构信息，而不是将关于邻域信息的文本添加到输入序列中。对于每个实体𝑒 ∈ E和每个关系𝑟 ∈ R，我们分别学习一个结构嵌入𝒆 ∈ R 𝑑𝑒 ,𝒓 ∈ R 𝑑𝑟，其中𝑑𝑒，𝑑𝑟是嵌入维数。我们在嵌入中对KG结构信息进行编码，并进一步使它们适应LLMs的文本表示空间。参考现有的基于嵌入的KGC范式，我们定义了一个得分函数F (ℎ，𝑟，𝑡)来衡量三元组(ℎ，𝑟，𝑡).)的似然性我们采用负抽样的自我监督预训练目标[3]: 在这里插入图片描述

表1:基于LLM的KGC方法在三个方面的比较。关于提示长度分析，𝐿𝐼、𝐿𝑇分别表示指令提示和三重提示的长度。𝐿𝐷表示演示的长度，𝑘是演示的次数。ZSR/ICL/IT分别涉及零触发推理、上下文学习和指令调整。

在这里插入图片描述

表2:数据集的统计信息。在有效/测试组中，阳性(+)和阴性(-)样本为1:1。

其中𝛾是边缘，𝜎是sigmoid激活函数和(ℎ的𝑖，𝑟′𝑖，𝑡′𝑖)(𝑖= 1，2，.。。、𝐾)都是𝐾阴性样本3.权重𝑝𝑖是[31]中提出的自我对抗权重。通过最小化这样的预训练损失，每个实体和关系的结构嵌入被优化以适合它的所有相关三元组，因此KG结构信息例如子图结构和关系模式被捕获在嵌入中。这种方法已经在许多基于嵌入的KGC方法中被证明是有效的[3，31],以捕捉早期的经典结构信息，如关系模式和分布式实体表示[13]。

知识前缀适配器在结构嵌入预训练之后，我们可以获得编码KG结构信息的三元组(ℎ，𝑟，𝑡)的结构嵌入(𝒉,𝒓，𝒕)。然而，结构嵌入是在与LLM M的文本令牌表示空间不同的表示空间中学习的，这意味着M不能直接理解这些嵌入。因此，我们应用知识前缀适配器P将它们投影到m的文本标记表示空间中。具体来说，结构嵌入通过P转换成几个虚拟知识标记K: 在这里插入图片描述
实际上，适配器P将是一个简单的投影层[50]。然后，我们将k放在原始输入序列s的前面，作为指令的前缀，三重提示S𝑘𝑝𝑎 = K ⊕ I𝑖𝑡 ⊕ X。这样，由于decoderonly llms中的单向关注，所有随后的文本标记都可以看到前缀k。通过这样做，文本标记可以单向关注输入三元组的结构嵌入。这种结构感知提示将在微调和推断过程中使用。在训练期间，我们冻结了预先训练的结构嵌入。适配器被优化以学习从结构知识到文本表示的映射，并且将在推理阶段具有对新三元组的概括，这将有利于文本描述并且从另一个角度提供三元组信息以进行增强的预测。

复杂度分析在提出KoPA之后，我们对基于LLM的KGC方法进行了比较，以展示KoPA的优势，如表1所示。与基本范式(ZSR/ICL/信息技术)相比，KoPA将KG结构嵌入到LLM中，将语篇和结构信息结合起来。同时，KoPA使得提示的长度更加精确，因为由结构前缀适配器生成的虚拟标记的长度对于头部/关系/尾部分别固定为3。相比之下，结构感知信息技术的提示长度(在表中增强)与邻域三元组𝑘.的数量线性相关与包含基于文本描述的结构化信息的方法相比，KoPA通过由适配器生成的固定长度的虚拟知识令牌来实现这个目标。

实验

数据集。在我们的实验中，我们使用三个公共KG基准UMLS [40]、CoDeX-S [28]和FB15K-237N [21]来评估所提出的基于LLM的KGC方法。数据集的详细分割信息如表2所示。基线方法。在我们的实验中，我们在三重分类上提供了与三大类基线的综合比较，这是KGC的一个重要子任务。KGC基线可以分为三个部分:基于嵌入的方法[3，31，34，38]，基于PLM的方法[21，40]和基于LLM的方法[41]。此外，我们进一步将基于LLM的方法分为两类:免训练方法和微调方法。

免训练方法包括ZSR和ICL，而微调方法包括普通信息技术和结构感知信息技术(增强信息技术)。用于这些基线的具体模型如下所列:

基于嵌入的KGC方法。我们选择了四种传统的基于嵌入的KGC方法进行比较，即TransE []、DistMult [38]、ComplEx [34]和RotatE [31]。这些方法通过学习的结构嵌入和模型中定义的得分函数来预测三重似然性。
基于PLM的KGC方法。我们选择KG-BERT [40]和PKGC [21]作为基于PLM的KGC基线，这是专注于三重分类任务的经典方法。这些方法将三重分类视为二元文本分类任务。
基于LLM的KGC方法。基于LLM的KGC研究仍处于早期阶段。只有KGLLaMA [41]是基于LLM的KGC基线。除了KGLLaMA，我们在第3节中提出的方法，包括ZSR、ICL、IT和structureaware IT(增强IT)也将作为基线。

在这里插入图片描述

表3:三级分类的主要实验结果。我们报告了三个数据集上每种方法的准确度(ACC)、精确度§、召回率®和F1值(F1)结果。“-”表示结果缺失，因为PKGC的特异性使其难以重现。基线中的最佳Acc / F1成绩标有下划线，当我们达到新的SOTA时，我们用粗体突出显示我们的结果。

实施和细节设置。我们复制基线结果并实现我们提出的KoPA。对于基于嵌入的KGC方法，我们使用OpenKE重现结果。在训练期间，我们设置嵌入维数𝑑𝑒 = 𝑑𝑟 = 512，样本𝐾 = 32个负样本。余量𝛾在{0，4，6，8，12}之间调整。在训练KGC模型后，我们按照传统设置[3]在测试数据的验证集上搜索最佳分类分数阈值。对于基于PLM的方法，基于PLM的KGC方法的骨干模型是BERT [8]。我们根据官方代码实现对KG-BERT进行微调。由于PKGC需要大量的手工工作来用提示注释每个关系，所以我们只报告原始论文中显示的FB15K-237N的结果。

对于零射击推理，除了使用相同的主干羊驼进行测量，我们还测试了具有175B参数的GPT-3.5-turbo的性能。对于上下文学习方法，我们采样k-shot (k=1，2，4，8)结构感知演示。此外，我们对每个三元组抽取4个邻域三元组进行结构感知指令调优。对于KoPA，我们采用RotatE [31]和结构嵌入预训练的得分函数，并且嵌入维数被设置为512，适配器是512×4096线性投影层。

对于KoPA，我们采用羊驼-7B [32]作为LLM主干。羊驼是羊驼[33]模型的著名扩展版本，根据指令跟踪数据进行了微调。我们在两个主干(美洲驼和羊驼)上复制了KGLLaMA [41]的三重分类结果，以避免主干选择对结果的影响。我们将这两个基线模型分别命名为KGLLaMA和KGAlpaca。对于所有的微调方法(指令调优、结构感知指令调优和KoPA)，我们使用秩为64的LoRA [14]对Alpaca进行微调。在{3，4，5}中搜索历元数，并在{1𝑒4、3𝑒4、5𝑒4 }中调整学习速率。我们使用AdamW优化器[20]，批量大小固定为12。我们用Nvidia A800 GPUs进行了所有的实验。结构嵌入预训练过程是高效的，并且只需要几分钟就可以完成。因此，主要的时间成本是由LLM微调引起的，对于不同的数据集，这需要几个小时。(在我们的实验环境中，UMLS为1小时，CoDeX-S为4小时，FB15K-237N为8小时)。

评估协议。我们使用三重分类任务[3]来评估这些方法，该任务本质上是二元分类，并且所有测试数据集都是标签平衡的。因此，我们使用准确度、精确度、召回率和F1分数作为评估指标。主要结果三级分类的主要实验结果见表3。由于精度和召回率本身并不能很好地反映模型在分类任务中的表现，因此我们将重点放在精度和F1值上。但是，为了提供不同模型的综合分析，我们还在表中报告了精度和召回结果。总的来说，我们可以发现KoPA在所有三个数据集上实现了优于现有16个基线模型的准确性和F1结果。以CoDeX-S为例，KoPA在准确率上实现1.81%的提升，在F1上实现1.85%的提升。当我们在KoPA中使用预训练的旋转嵌入时，我们可以观察到KoPA明显优于原始的基于嵌入的旋转方法，特别是在更大和更具挑战性的数据集上，如CoDeX-S和FB15K-237N。

同时，与所有基于LLM的方法相比，我们可以看到，如果不进行微调，LLM不能很好地理解KG结构信息。即使GPT-3.5涡轮(175B参数)具有优异的性能，零发射LLM在三级分类任务中表现非常差。尽管ICL提供的演示可以包含KG信息，但性能增益是有限的。此外，无训练方法的预测结果是有偏差的，容易陷入全对或全错的极端，因为它们的召回率要么很高，要么很低，但F1分数始终相对较低。

但是，微调LLM可以将KG信息引入到LLM中，因为整体性能会有明显的提高。与此同时，尽管结构感知算法利用三元组的邻域信息增强了输入提示，但与KoPA相比，其性能也是有限的。这表明，与基于文本的辅助提示相比，结构嵌入包含更多语义丰富的信息，这也可以通过前缀适配器被LLM理解。结合4.3节中的分析和实验结果，KoPA在更短的提示之上实现了更好的结果。

可转移性探索主要实验中的结果已经显示了KoPA的有效性。为了进一步验证通用性和可移植性我们进行了一个新的可移植性实验。在这个实验中，我们将证明知识前缀适配器将学习从结构嵌入转换到文本标记表示，并提供语义丰富的辅助信息来增强LLM推理的解码过程。

我们通过测试KoPA对没有出现在训练阶段的实体的影响来论证这一点，这在其他KGC作品中也被称为归纳设置[6]。我们将KG数据集分成一个具有定义的归纳率(IR)的归纳设置，归纳率指的是训练期间未看到的实体的比率。例如，如果IR=10%，我们将随机选择10%的实体作为归纳实体集。训练集中头部或尾部在归纳集中的任何三元组将在训练期间被移除。此外，测试集中的三元组将被分成两部分:可见部分和不可见部分。如果三元组中的头或尾在归纳实体集内，将被视为不可见。我们仅使用剩余的可见三元组对LLM进行微调，并对可见和不可见的三元组进行测试。

在这种设置中，一组实体将不参与训练过程，并且LLM看不到它们的文本描述，这将使测试过程更具挑战性。我们报告了可见(S)、不可见(U)和所有(A)测试三元组的准确性和F1分数，如图3所示，这是三种微调方法:KoPA、vanilla IT和结构感知IT(在图中增强了它)。

在这里插入图片描述
图3:可移植性实验的结果。我们报告了在CoDeX-S数据集上不同归纳率(IR)下的结果。此外，根据实体是否在训练中出现，我们将测试数据分为可见和不可见两部分。此外，我们将所有测试数据的结果加在一起。雷达图中报告了精度(Acc)和F1值(F1)。

在这里插入图片描述

表4:CoDeX-s上的消融研究结果我们首先用其他组件替换预训练的结构嵌入，并改变虚拟知识令牌的插入位置，以演示知识前缀适配器的有效性。

从无线电图表中，我们可以观察到KoPA对于不可见的三元组优于其他方法，并且当IR增加时具有较小的性能下降。具有文本形式的邻域三元组的结构感知IT(增强IT)的性能更不稳定。这些现象表明，知识前缀适配器可以学习从结构嵌入到文本表示的良好映射，即使实体在训练期间不可见，该映射也是可转移的。从KG中捕获的结构嵌入在向LLM提供有用的结构信息方面起着更重要的作用。

消融研究为了验证KoPA设计的有效性，我们进行了两部分消融研究。第一部分用于验证结构嵌入的有效性，第二部分用于验证前缀适配器的有效性。如表4所示，我们可以发现，移除结构化嵌入或者用随机初始化嵌入替换它们都会导致性能下降。此外，我们发现该模型兼容不同的结构嵌入的类型。然而，性能增益取决于嵌入最初在三重分类任务中是否强大。参考表3，与DistMult [38]和ComplEx [34]相比，TransE [3]和RotatE [31]是更好的基于嵌入的KGC模型。这表明语义丰富的结构信息是性能提高的关键，KoPA充分利用了这一点。

同时，将适配器生成的虚拟知识标记放在输入序列的中间(中缀)或最后(后缀)也会降低性能。我们认为原因是将标记放在序列的前面会使所有的文本关注它们，因为LLM通常是具有单向自我关注的仅解码器架构。然后，LLM可以利用与文本充分交互的结构嵌入做出更好的决策。结合消融研究的这两个部分，我们认为我们的KoPA设计是有效和合理的。案例分析为了对KoPA有一个更直观的看法，我们在本节中从宏观和微观两个角度进行案例分析。从宏观角度来看，我们计算了几个模型的预测重叠，并绘制了如图4所示的文氏图。

在这里插入图片描述

图4:来自不同KGC模型的正确预测的维恩图。图表中的每个交叉部分代表不同模型对某些数据的相同预测。

从图中我们可以发现，KoPA有相当一部分正确的预测与其他几个模型不相交，这意味着KoPA对一些测试数据做出了正确的预测，而许多其他模型预测不正确。这表明KoPA中包含的结构信息在做出正确预测方面具有重要作用。对于一个微观的例子，测试三元组(约翰·兰迪斯，电影导演电影，来到美国)被旋转模型和普通指令调整LLM预测为错误的。对于检索到的邻域三元组(来到美国，地点，纽约市)，(约翰·兰迪斯，国籍，美国)，(来到美国，流派，浪漫喜剧)，(喜剧，普通网飞标题，来到美国)，结构感知微调LLM仍然做出错误的预测，因为邻域信息在当前预测的判断中几乎没有用处，尽管它们是正确的事实。KoPA中应用的结构嵌入比文本形式的结构信息包含更多的信息，并且更容易通过结构预训练过程提取。因此，KoPA在三重分类任务中优于其他模型。

通用能力保留为了深入研究LLM中通用能力的保留，我们进行了另一个实验来评估微调前后LLM的总体熟练程度。我们应用MMLU [12]基准来解决这个问题。MMLU是最受欢迎的基准，用于评估不同领域(如人文科学、社会科学、STEM等)的法学硕士的综合能力。不同数据集上的总体评估结果如图5所示:从结果中可以看出，经过KoPA训练后，LLM的综合能力有了明显的改变。

在这里插入图片描述

图5：MMLU上的常用能力实验。

在大多数情况下，有所下降，但值得注意的是，在UMLS数据集上，STEM熟练程度有所提高。我们将这种现象归因于UMLS是一个医学KG，包含了医学、生物学和化学方面的大量知识，并且在该数据集上的训练允许模型获得更多STEM知识。因此，当面对不同于训练任务的自然语言输入时，该模型熟练地利用从KGC任务微调获得的知识来获得增强的结果。我们已经在MMLUs中列出了几个受试者，他们在与UMLS一起训练后表现出了改善。这些主题与表5中UMLS概括的知识领域高度相关和接近。接受KGC任务训练的LLM在不同的输入提示下也取得了显著的进步，这是一个引人注目的观察结果。

在这里插入图片描述

表5:在MMLU的特定领域中，LLM在UMLS上培训后取得了更高的分数

结论

在本文中，我们系统地探讨了如何将结构理解能力融入逻辑推理模型中，从而为KGC任务进行结构感知推理。我们扩展了原有的LLM范式，提出了结构感知的ICL和信息技术方法，通过文本来整合结构信息。我们进一步提出KoPA，一个知识前缀适配器，将预先训练的结构嵌入到LLMs中。我们进行了三重分类实验，对结构感知方法进行了综合比较，并展示了KoPA取得的更好的结果。在未来，我们计划深入研究基于LLM的KGC，并考虑一个更统一的框架来完成LLM的所有KGC任务。此外，我们还将探索如何灵活地将KGs应用到基于LLM的下游应用中，使LLM变得知识丰富、可靠和人性化。