从ACL 2020和ICLR 2020看知识图谱嵌入的近期研究进展

©PaperWeekly 原创 · 作者｜舒意恒

学校｜南京大学硕士生

研究方向｜知识图谱

本文介绍三篇发表于 ACL 2020 或 ICLR 2020 关于知识图谱嵌入的近期研究进展。

1. ACL 2020 | A Relational Memory-based Embedding Model for Triple Classification and Search Personalization 用于三元组分类和搜索个性化的基于关系记忆的嵌入模型

2. ACL 2020 | A Re-evaluation of Knowledge Graph Completion Methods 知识图谱补全方法的重新评估

3. ICLR 2020 | You Can Teach An Old Dog New Tricks! On Training Knowledge Graph Embeddings 旧瓶装新酒，训练知识图谱嵌入

其中，第 1 篇文章主要使用序列模型对三元组进行建模，用于三元组分类和搜索个性化任务。第 2 篇和第 3 篇文章是实证类的研究，回顾了现有的知识图谱嵌入方法，并从独特的角度提出了质疑，对研究者在今后的研究具有一定启发意义。

R-MeN

论文标题：A Relational Memory-based Embedding Model for Triple Classification and Search Personalization

论文作者：Dai Quoc Nguyen, Tu Dinh Nguyen, Dinh Phung

论文来源：ACL 2020

论文链接：http://arxiv.org/abs/1907.06080

开源代码：https://github.com/daiquocnguyen/R-MeN

本文关键词：knowledge graph embedding; relational memory-based; triple classification; search personalization

1.1 问题

作者认为，现有的知识图谱嵌入方法通常在记忆有效三元组方面有局限。

作者主要面向的应用场景是搜索个性化和三元组分类：三元组分类旨在预测给定的三元组是否有效；搜索个性化旨在对面向用户的搜索引擎返回的相关文档进行重新排序。

作者认为，现有方法不能有效捕捉实体和关系之间的潜在依赖。从 Trans 系列的发展来看，这不是一个新问题，但作者有了新的思路。

1.2 方案

作者将其嵌入模型称为 R-MeN，它使用一个关系记忆网络来编码三元组，推断新的三元组。

具体而言，R-MeN 将每个三元组与额外的位置嵌入（positional embedding）一起转换成 3 个输入向量序列。然后，R-MeN 使用 transformer 的自注意力（self-attention）机制来引导记忆与每个输入向量进行交互，以产生一个编码向量。

最终，R-MeN 将这 3 个编码向量反馈给基于 CNN 的解码器，返回一个三元组的得分。

图中，M 表示记忆，MLP 表示多层感知机。g 表示记忆门控。CNN 表示基于 CNN 的解码器。我们可以将它理解为对 三个时间步建模的序列模型。

1.3 R-MeN 模型

1.3.1 位置嵌入

对于一个三元组 ，作者假设 之间的相对位置对于推断其本质关系是有用的，因此对每个位置添加了位置嵌入。

给定一个三元组