论文浅尝 | Seq2Seq 知识图谱补全与问答

笔记整理：李行，天津大学硕士

论文题目：Sequence-to-Sequence Knowledge Graph Completion and Question Answering

链接：https://arxiv.org/pdf/2203.10321.pdf

动机

知识图嵌入 (KGE) 模型用低维嵌入向量表示知识图 (KG) 的每个实体和关系。这些方法最近已应用于知识图谱链接预测和不完整知识图谱 (KGQA) 上的问答。KGE 通常为图中的每个实体创建一个嵌入，这会导致在具有数百万个实体的真实世界图上产生大型模型。对于下游任务，这些原子实体表示通常需要集成到多级管道中，从而限制了它们的实用性。现成的编码器-解码器 Transformer 模型可以用作可扩展且通用的 KGE 模型，为 KG 链接预测和不完整的 KG 问答获得最先进的结果。本文提出了KGT5，将 KG 链接预测作为序列到序列的任务，并将先前 KGE 方法采用的三重评分方法与自回归解码进行交换，与传统的 KGE 模型相比，这种简单但功能强大的方法可将模型大小减少多达 98%，同时保持推理时间的可控性。在针对不完整 KG 的 KGQA 任务对该模型进行微调后，该方法在多个大规模数据集上的性能优于基线，而无需进行广泛的超参数调整。

亮点

KGT5的亮点主要包括：

1.将 KG 链接预测和问答可以被视为序列到序列的任务。2.使用KGT5 方法，将 KG 链接预测的模型大小减少了 98%，同时在具有 90M 实体的数据集上优于传统的 KGE。3.通过 KGQA 对不完整图的任务展示了KGT5的多功能性。

概念及模型

KGT5 首先在链接预测任务上进行训练（预测头/尾实体，给定尾/头和关系）。对于问答，使用 QA 对进一步微调相同的模型。方法的概述图如下：