论文浅尝 | Future Event Prediction Based on Temporal KG Embedding

笔记整理：杨露露，天津大学硕士

链接：https://www.techscience.com/csse/v44n3/49146/html

动机

对未来事件的准确预测在许多领域为社会带来巨大利益，减少损失，如内乱、流行病和犯罪。知识图谱是描述和建模复杂系统的通用语言。不同类型的事件不断发生，这些事件通常与历史事件和并发事件有关。在本文中，作者将未来事件的预测形式化为一个时态知识图谱推理问题。现有的大多数研究要么对静态知识图谱进行推理，要么假设在训练过程中所有时间戳的知识图谱都是可用的。因此，他们不能有效地推理时间知识图谱和预测未来发生的事件。为了解决这个问题，最近的一些工作学习基于历史事件的时态知识图谱来推断未来的事件。然而，这些方法并没有综合考虑历史事件和同期事件背后的潜在模式和影响。本文基于一种新的历史事件和并发事件注意感知机制，通过对事件知识图谱序列进行递归建模，提出了一种新的图表示学习模型，即RE-GAT。更具体地说，RE-GAT使用一个基于注意力的历史事件嵌入模块来编码过去的事件，并使用一个基于注意力的并发事件嵌入模块来建模相同时间戳的事件关联。为了优化实体和关系的嵌入，开发了基于翻译的解码器模块和学习目标。在四个基准数据集上评估了作者提出的方法。大量实验结果表明，与各种基线相比，RE-GAT模型具有优越性，这证明作者的方法可以更准确地预测将要发生的事件。

亮点

本文的亮点主要包括：

1.将未来事件预测问题形式化为时态知识图谱的推理问题；2.RE-GAT使用RNN和GNN联合编码来自历史和并发事件的时间和结构事件信息，以预测未来事件。此外，采用了一种新颖的注意力机制，以确保更好地表示与事件相关的复杂模式。

概念及模型

RE-GAT由实体和关系嵌入编码器和解码器组成。前者包含基于注意力的并发事件嵌入模块和基于注意力的历史事件嵌入模块；后者适用基于翻译的分数函数来完成相应的实体预测任务。

具体来说，RE-GAT：

•使用基于注意力的递归神经网络对历史事件中的信息序列模式进行建模。•使用基于注意力的图神经网络表示机制学习每个时间戳的知识图谱中并发事件之间的局部结构关系。•基于学习到的时间事件主题嵌入、事件对象嵌入和事件类型嵌入，使用经典的基于翻译的解码