IEEE TKDE | 论文荐读！TGformer：用于知识图谱嵌入的图转换器框架

最新推荐文章于 2025-05-23 10:18:27 发布

小天才学习机打游戏

最新推荐文章于 2025-05-23 10:18:27 发布

阅读量1k

点赞数 12

文章标签：知识图谱人工智能 embedding 机器学习数据分析信息可视化

本文链接：https://blog.csdn.net/m0_59164520/article/details/146415110

版权

本期推文将介绍一种用于知识图谱嵌入的图转换器框架（Graph Transformer Framework for Knowledge Graph Embedding，TGformer）。这项研究发表于《IEEE Transactions on Knowledge and Data Engineering》期刊。

知识图谱嵌入是一种有效的推理方法，用于推断已知事实并推测缺失的连接。现有的方法主要基于三元组或图结构。基于三元组的方法通过单个三元组学习缺失实体的嵌入，但忽略了知识图谱本质上是图结构的事实。基于图结构的方法考虑了图的结构信息，但忽略了知识图谱中节点的上下文信息，因此无法辨别有价值的实体（关系）信息。针对上述限制，荐读的论文提出了一种通用的图转换器框架用于知识图谱嵌入（TGformer）。这是首个使用图转换器构建静态和时序知识图谱中的三元组级和图级结构特征的知识嵌入方法。具体来说，该论文为每个预测的三元组构建一个上下文级子图，该子图建模了具有相同实体的三元组之间的关系。然后，设计了一个知识图谱转换器网络（Knowledge Graph Transformer Network，KGTN），充分挖掘知识图谱中的多重结构特征，包括三元组级和图级特征，增强模型在不同上下文中理解实体（关系）的能力。最后，采用语义匹配来选择得分最高的实体。对多个公共知识图谱数据集的实验结果表明，所提的方法在链接预测方面可以实现最先进的性能。

论文的创新点主要有以下几点：

1）提出了一个新颖的图变换器框架，用于构建静态和时序知识图谱中的三元组级别和图级别结构特征的知识嵌入。作者指出，这是首次采用图变换器来建模知识图谱嵌入（KGE）任务。；

2）为了缓解图级别聚合带来的噪声信息问题，为每个待预测的三元组构建了一个上下文级子图，将预测三元组作为锚点，连接具有相似上下文的邻接三元组；

3）设计了一个知识图谱变换器网络（KGTN），成功地将三元组级别的实体-关系交互扩展到全局；

4）经过全面的实验和对静态及时序知识图谱数据集的广泛分析，TGformer模型在链路预测任务中超越了最先进的基线模型。

问题的背景

知识图谱嵌入（KGE）是表示多关系图的高效方法，广泛应用于推荐系统、大型语言模型的增强等多个下游任务。知识图谱（KGs）如WordNet和Freebase，通常以（主体实体、关系、客体实体）的三元组形式存储信息，反映了实体之间复杂的关系。一个实体可能出现在多个不同的三元组中，这些实体被称为共现实体。共现实体在不同的三元组中可能会扮演不同的角色，因此需要为每个三元组构建对应的知识表示，以准确捕捉不同上下文中实体和关系的含义。然而，现有的KGE模型在处理这些复杂的关系和上下文信息时存在一些不足，尤其是在处理复杂的实体-关系交互和全局上下文时。

荐读论文解决的主要问题包括：

基于三元组的模型的局限性：传统的KGE模型（如TransE、TuckER、ConvE等）主要基于三元组级别的交互建模，这些模型通过学习实体与关系之间的交互来生成知识表示。然而，这种方法对于复杂关系（如一对多、多对多关系等）处理效果较差。因为三元组级别的交互只能捕捉局部的关系，无法全面理解实体在不同上下文中的不同角色；
实体-关系交互的局部性：即使一些方法（如InteractE）通过增加实体间的交互来提升性能，但它们依然面临局部交互的限制。每个三元组的交互通常是局部的，不能全面捕捉到全局上下文信息。因此，这些方法在处理涉及多个关系模式的任务时难以获得全面的知识表示；
图神经网络（GNN）方法的噪声问题：近年来，图神经网络（GNN）被引入到KGE中，以捕捉图级别的全局结构。尽管GNN方法在捕捉图结构方面有优势，但它们常常通过直接聚合多跳邻居的信息来建模实体的表示，这容易引入与目标实体无关的噪声信息，影响预测结果；
过度平滑问题：多层GNN模型通常会出现过度平滑现象，随着层数的增加，节点特征逐渐趋同，导致难以捕捉到节点之间的细微差异。特别是在处理复杂的知识图谱时，过度平滑使得模型难以有效学习和表达复杂的全局关系;
全局上下文信息的缺失：尽管GNN方法能够处理图级别的全局信息，但由于局部聚合和过度平滑的问题，GNN方法仍然难以捕捉到完整的全局上下文信息。传统的GNN模型通常依赖邻居信息的聚合，无法有效捕获知识图谱中涉及的多重上下文信息，导致对实体和关系的理解不够全面。

针对这些挑战，荐读的论文提出了一个新颖的框架——TGformer，旨在扩展实体-关系的交互至全局范围，并减少噪声信息的影响。TGformer通过构建上下文级子图，结合图变换器（graph transformer）对实体和关系进行更全面的建模，从而更好地捕捉全局上下文信息，提高KGE任务的性能。

方法的概述

荐读论文所提出的TGformer框架用于在知识图谱中构建具有三元组级别和图级别结构特征的知识嵌入。如图1所示，首先构建了一个上下文级别的子图，以充分考虑锚点三元组中主体实体和关系的多上下文信息。在此基础上，设计了知识图谱变换器网络（KGTN），从三元组和图结构两个层面丰富实体和关系的嵌入表示。为了填补知识图谱中图级别表示和三元组级别表示之间的差距，采用语义匹配方法作为解码器来为实体嵌入打分。最后，对TGformer进行了优化和推理。

图1 一个用于知识图谱嵌入的图变换器框架。它由两个组件组成：（a）是上下文级别子图的构建过程。（b）是知识图谱变换器网络的架构。

（一）上下文级别子图构建

在现实世界的知识图谱中，同一实体在不同的三元组中出现是常见的现象，荐读的论文将这些实体称为共现实体。为了方便知识图谱变换器网络聚合邻近三元组，采用是否存在三元组间的共现作为判断标准，为锚三元组（待预测的三元组）构建上下文级别的邻接子图。如图2(a)所示，三元组级别的子图构建可以分为两个部分。具体而言，(1) Graph2Triplets：在这一部分，将锚三元组的主题实体 nnn 视为共现实体。然后，找到知识图谱中包含共现实体的其他三元组，这些三元组被视为锚三元组的邻接三元组。 (2) Triplets2Context：对于包含共现实体的三元组，构建一个子图，考虑不同上下文中实体的信息。这完成了将知识图谱（一个有向异构图）转化为一个无向的上下文级别子图的过程。

（二）知识图谱变换器网络

为了将实体-关系交互从锚三元组扩展到全局范围，并同时解决基于 GNN 聚合带来的噪声问题，提出了知识图谱变换器网络（KGTN）。该网络由两个关键组件组成：三元组级变换器和图级变换器。三元组级变换器旨在建模更稳健的实体-关系交互，从而加深对共现实体在不同上下文三元组中的重要性的理解。图级变换器通过聚合与共现实体相关的语义信息，将实体-关系交互扩展到全局范围，使其能够在更广泛的上下文中进行信息传递。此外，为了减少聚合过程中噪声的影响，上下文三元组中的关系嵌入被用作区分有价值上下文三元组的特征，从而提高模型对有效信息的捕获能力。

（三）语义匹配

利用三元组级变换器和图级变换器的输出嵌入，执行从 (s, r, ?) 预测 o 或从 (?, r, o) 预测 s 的搜索任务，该过程被称为**知识图谱补全（KGC）**任务。论文从传统KGE方法中选择了几种经典的语义匹配方法，用于匹配查询 (s, r) 与答案 o，包括加法、乘法（Multiplication）、ConvE 和 TuckER 。通过大量实验，发现TuckER 的语义匹配方法使TGformer 在大多数数据集上取得了最优性能。

（四）优化与推理

为了评估预测实体的嵌入质量，采用语义匹配方法对锚定三元组及其上下文三元组中的共现实体进行评分。

总结与思考

在荐读的论文中，提出了一种图变换器（Graph Transformer）框架用于知识图谱嵌入（KGE），该框架融合了三元组级和图级结构信息，从而学习更加优化的实体和关系嵌入。具体而言，该论文为每个待预测的三元组构建上下文级子图，其中三元组作为节点，通过共现实体连接相关的上下文三元组。在此基础上，设计了知识图谱变换器网络（KGTN），包括三元组级变换器和图级变换器。KGTN 能够在不同语义上下文下理解实体和关系，同时将静态或时间知识图谱的结构信息嵌入到变换器中，以学习优化的特征表示。大量实验表明，TGformer 通过融合三元组级和图级信息，在链路预测任务上优于现有的最先进模型。

作者指出，未来，计划将实体和关系的文本描述信息作为辅助信息引入模型，以模拟实体（关系）在现实世界中的语义嵌入。此外，还将进一步探索负采样的质量和效率对知识图谱嵌入（KGE）的影响。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述