论文浅尝 | 知识图谱推理基础模型（ICLR2024）

笔记整理：张溢弛，浙江大学硕士，研究方向为知识图谱

论文链接：https://arxiv.org/pdf/2310.04562

发表会议：ICLR 2024

1. 动机

视觉和文本领域的基础模型往往通过学习可迁移的表示（比如一个词汇表）来实现在任何视觉/文本数据集上进行推理的目标。但是在知识图谱（Knowledge Graph, KG）中，由于不同的KG有不同的实体和关系，因此设计可以跨KG迁移的知识图谱推理基础模型就充满了挑战，即如何学习可迁移的实体/关系表示，使得基础模型可以在不同的知识图谱之间进行迁移推理。本论文提出了一种可以学习统一的、可迁移的KG表示的方法ULTRA，通过建立以关系之间的交互为条件的函数来学习关系的表示。这种调节策略使预先训练好的 ULTRA 模型可以归纳概括为具有任何关系词汇的任何未见 KG，并可在任何图形上进行微调。该论文在 57 个不同的 KG 上进行了链接预测实验，发现在各种规模的未见KG上，单个预训练的 ULTRA 模型的零次归纳推理性能通常与在特定图上训练的强基线相当，甚至更好。微调进一步提高了性能。

2. 方法

该论文提出的ULTRA框架的方法主要分为三个部分，一个是关系图的构建，第二个是条件关系表示的生成，第三个是实体级别的链接预测。如下图所示：

第一部分关系图的构建是将给定的知识图谱转化成为一个关系图，关系图中，每种关系就对应成了一个节点，而关系图中的边则代表了关系之间的关系。ULTRA的关系图中共有四种不同的边，tail-to-head (t2h), head-to-head (h2h), head-to-tail (h2t), and tail-to-tail (t2t)，这里的h和t分别代表是头实体和尾实体，如果两个关系同时作为原KG中某个头实体的关系，那么这两个关系之间就有一条h2h类型的边，比如(h, r1, t1)和(h, r2, t2)同时存在，那么r1和r2这两个关系之间就有一条h2h类型的边，其他三种边依此类推。

第二部分的是条件关系表示的生成，对于一个给定的查询(h, q, ?)，ULTRA会得到关系图在这个查询关系q作为条件下的表示，这个过程可以表示为下面的公式：

论文中提到，ULTRA使用了和NBFNet相似的GNN设计来提取这一条件关系表示。

第三个部分，ULTRA通过另一个NBFNet架构的GNN模型进行实体级别的链接预测，这个过程可以表示为：

GNN最终的输出会通过一个MLP将节点的hidden state转换为一个候选三元组(h, q, v)的分数，并据此来进行链接预测。模型的训练基于经典的负采样损失函数：

3. 实验

ULTRA收集了三个已有KG进行了大规模的预训练，在三个数据集WN18RR，CoDEX-M以及FB15K-237上进行了预训练。并在57个不同的KG数据集上进行了评估，这些数据集分为Transductive的和Inductive的数据集，其中Inductive的数据集还分为实体Inductive和实体关系Inductive的数据集，详细的数据集信息可以阅读原论文获取。一些重要的实验结果如下：

可以看到，ULTRA预训练模型在各种KG基准数据集上的零样本推理能力和微调后的推理能力相比于经典的监督学习方法的SOTA结果相比，都有明显的提升。同时，模型也对各个模块的设计等方面在论文中进行了详细的探究。

4. 总结

本论文介绍了 ULTRA，这是一种学习通用和可转移KG表示的方法，可以作为建立 KG 推理基础模型的方法之一。利用关系结构和条件关系表征的不变性，ULTRA 可以在没有任何输入特征的情况下对任何多关系图进行训练和推理。实验表明，在 50 多个 1k-120k 节点的KG上，单个预训练的 ULTRA 模型的表现优于最先进的定制监督基线模型，即使在零样本推理的情况下也能平均提高 15%。对 ULTRA 进行微调具有采样效率高的特点，可将平均性能再提高 10%。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。