TranS：基于过渡的知识图谱嵌入与合成关系表示

小纪很酷

已于 2023-11-02 21:30:19 修改

阅读量71

点赞数

文章标签：知识图谱人工智能

于 2023-10-25 11:49:03 首次发布

本文链接：https://blog.csdn.net/weixin_45883486/article/details/133902310

版权

摘要

最近，基于过渡的KGE方法变得流行并取得了可喜的性能。然而，像TransE这样的评分模式不适用于同一实体对具有不同关系的复杂场景。虽然一些模型试图采用实体关系交互或投影来改善一对多/多对一/多对多复杂关系的实体表示，但它们仍然延续了传统的评分模式，其中关系部分只有一个关系向量用于将头实体翻译成尾实体或其变体。最近的研究表明，实体表示只需要考虑实体和它们的相互作用，以获得更好的性能。

因此，在本文中，我们提出了一种新的基于过渡的 KGE 方法 TranS。传统评分模式中关系部分的单个关系向量被替换为具有实体-关系交互的合成关系表示。实体部分通过实体与实体的交互仍然保持其独立性。在一个大型 KG 数据集 Ogbl-wikikg2 上的实验表明，我们的模型取得了最先进的结果。

1 介绍

知识图谱在许多领域发挥着重要作用，包括知识问答、语义解析、信息检索等。

KGE 方法大致可分为以下几个方向：平移距离、语义匹配和神经网络。因为基于过渡的KGE方法，如 TransE 简单有效，这一系列模型在学术界和工业界都越来越受欢迎。

然而，TransE 不适合处理像一对多/多对一/多对多这样的复杂关系。尽管以前的模型，如TransH/R/D 已经考虑了相关问题，它们仍然关注实体部分的实体-关系投影或交互，并延续了TransE 模式。实际上，最近的研究，InterHT（Wang et al.，2022），表明实体部分只需要考虑头部和尾部实体及其交互信息，就能实现卓越的性能，优于之前的TransX系列模型。不幸的是，它再次忽略了复杂关系表示的问题。因此，从交互的角度来看，如何在实体部分只保留实体-实体交互的情况下，通过在关系部分引入实体-关系交互来解决图1存在的问题，需要进一步考虑。

为此，我们提出了一种新的基于过渡的知识图嵌入模型--TranS，该模型用合成关系模式代替传统的评分模式，最终的关系表示是多个关系向量的和。其中的两个（ $\bar{r}$ ， $\hat{r}$ ）除了关系 r 之外，还与头实体 h 和尾实体 t 相关。首先，在实体部分，它不使用实体-关系交互和投影，而是只关注实体及其交互本身，以保证它们的独立性和有效性。另一方面，与其他在实体部分利用实体-关系交互的方法不同，该方法将实体-关系交互迁移到关系部分，形成合成关系表示，有效地解决了单一关系向量在面对同一实体对时无法表示不同关系的问题。在一个大型知识图谱数据集 Ogbl-wikikg2上的实验表明，我们提出的模型用更少的参数达到了最好的结果。

2 方法

2.1 TranS

TranS 模型用合成关系向量 $\bar{r}$ +r+ $\hat{r}$ 代替了单个关系向量 r ，即， $R_{t}$ － $R_{h}$ ≈ $\bar{r}$ +r+ $\hat{r}$ ，其中 $\bar{r}$ 是与头实体相关的伴随关系向量， $\hat{r}$ 是与尾实体相关的另一伴随关系向量。图2（f）显示了 TranS 的示意图。两个实体和三个关系表示一起构成了我们提出的评分函数 $f_{r}(h,t)$ 。也就是说，右关系部分中的合成关系表示是由三个不同关系向量的和组成。为了充分利用上下文信息，我们使用伴随向量和Hadamard 乘积分别与h，t， $\bar{r}$ 和 $\hat{r}$ 相互作用：

$\tilde{h}$ 表示伴随头实体向量，并且 $\tilde{t}$ 表示伴随尾实体向量。因此， $R_{h}$ 是整合尾实体信息的头实体的表示，并且 $R_{t}$ 是整合头实体信息的尾实体的表示。 $\bar{r}$ $\circ$ h 是伴随关系与头部实体信息的表示， $\hat{r}$ $\circ$ t 是另一个伴随关系与尾部实体信息的表示。因此，最终方程可以表示为：

将单位向量 e 添加到 $R_{h}$ 和 $R_{t}$ ，即：h $\circ$ $\tilde{t}$ → h $\circ$ ( $\tilde{t}$ ＋ e)，t $\circ$ $\tilde{h}$ → t $\circ$ ( $\tilde{h}$ ＋ e)。考虑到词汇表外的问题，我们还使用NodePiece（Galkin等人，2022）去学习固定大小的实体词汇。

2.2 Training

TranS 用自对抗负采样损失作为损失函数，其定义如下：

其中 $\gamma$ 是固定的边界， $\sigma$ 是 S 形函数，（ $h_{i}^{'}$ ，r， $t_{i}^{'}$ ）是 n 个随机抽样的负三元组的第 i 个。该负样本的权重 p( $h_{i}^{'}$ ，r， $t_{i}^{'}$ ) 可以计算如下：

2.3 Comparison

特别地，不同于 InterHT（Wang等人，2022），TranS 的评分函数的关系部分是多重关系的和向量，而不是单个向量。TripleRE（Yu等人，2021）中有三个关系被应用到具有加减法运算的传统评分模式的三个部分中， TranS 仅将合成关系向量应用到具有加法运算的评分函数的关系部分中。

3 实验

3.1 Dataset and Metric

Ogbl-wikikg2（Hu等人，2020）代表了Open Graph Benchmark（OGB）中的一项知识图谱链接预测任务的数据集。ogbl-wikikg2是从维基数据库（Wikidata）中提取的大型 KG 数据集（Vrande Rocci 'c和Krötzsch，2014）。它包含一组三重边，捕捉世界中实体之间的不同类型的关系。数据集的统计数据见表1。它包含2,500,604个实体，535个关系类型和17,137,181条边。按照官方的指导方针，我们通过根据训练边缘预测新的三重边缘来评估 KGE 的性能。评估指标遵循 KG 中广泛使用的标准过滤指标。特别地，通过用随机采样的负实体替换其头部或尾部来破坏每个测试三元组边缘，同时确保所得到的三元组不出现在KG中。目标是让真正的头或尾实体在排名中更高，即更靠前，而负面实体则排名较低，这是通过平均倒数排名（MRR）来衡量的。

我们遵循原始数据集划分。三元组是根据时间划分的，以模拟真实的数据图谱补全场景，即需要填充在特定时间戳不存在的缺失三元组。训练集包含16,109,182个三元组，验证集包含429,456个三元组，测试集包含598,543个三元组。