T-SimplE

摘要

为满足数据稀疏和计算效率的问题，采用KG将实体和关系的语义信息表示为密集的低维向量。KG中的数据可能只在一段时间内有效，为解决数据随时间变化的问题，本文提出一种基于张量分解的TKGC模型，该模型将KG中的事实集视为包含有实体，关系实体，尾实体和时间维数的四阶张量。

介绍

本文主要贡献

1. 提出一种基于张量分解的KG嵌入模型，并将其扩展到一种基于四阶张量的模型，具体来说，分解方法为每个时间戳生成嵌入。
2. 基于张量分解可以共享参数的特性，解决了时间敏感性的问题。
3. 提出了T-SimpIE模型。
4. 代码地址：T-SimpIE

准备工作

静态KG嵌入模型

平移模型
TransE： 关系r看作是头实体h到尾实体t的平移，满足h+r=t。
TransH： 通过关联的平移操作将关系建模为关系特定超平面上的向量。TransE和TransH都将实体和关系嵌入到同一个空间中。
TransR： 考虑了独立的实体和关系空间。
张量分解模型
RESCAL： 将张量分解为一个核心张量和一个因子矩阵，其中核心张量中二维矩阵的每一片表示一个关系，因子矩阵中的每一行表示一个实体。
DistMult： 通过将二维矩阵限制为一个对角矩阵来简化RESCAL。
ComplEx： 假设嵌入值是复数(而不是实数)来扩展DistMult。
SimplE： 每个实体表示为两个向量，头实体向量和尾实体向量，每个关系表示为两个关系，前向关系向量和逆关系向量。

TKGC模型

TransE-TAE： 侧重于捕获关系之间的时间顺序，而不是将时间感知信息直接纳入学习嵌入中。例:(wasborn→worksAt→die in)。然后将这些时间顺序信息和附加的常识约束作为一致性约束来学习时间KG嵌入。
HyTE： 基于时间戳将输入的时间KG划分为多个静态子图。然后用时间戳将每个子图的所有事实映射到特定的超平面上。
TA-TransE： 该模型将给定的时间戳分解为一个由时态标记组成的序列。这些符号序列被用作循环神经网络的输入。具体来说，该模型使用数字级LSTM编码链路预测的时间信息。
DE-TransE： 该算法引入超参数γ来控制时间嵌入特征的数量。公式中矢量的第一个γ元素捕捉时间特征。剩下的是静态特性。通过这种方式，时间信息被嵌入到关系和实体中。并且该模型能够学习如何在不同的时间点打开或关闭实体特征。所以我们可以在任何时候对它们做出准确的时间预测。

方法

以四阶二元张量代替静态KG中的三阶二元张量，扩展的维数为时间戳。可以将静态KG的张量分解的嵌入模型扩展到TKGC。如DistMult、ComplEx和SimplE，扩展到TKGC，扩展模型被称为T-DistMult, T-ComplEx和T-SimplE。
T-DistMult： 不区分头实体和尾实体，只能建模对称关系，每个实体e的嵌入有两个向量h_e，t_e，关系r的向量V_r。h_e捕获e的行为作为关系的头，t_e捕获e的行为作为关系的尾。增加一个新因子W_t就可以扩展到TKGC，重新定义的四元组的相似函数为：<h_ei,r,t_ej,W_t>。
T-ComplEx： 考虑复数来扩展T-DistMult，对于实体e，re_e,im_e分别表示实部和虚部，对于关系r，re_r,im_r分别表示实部和虚部。添加新元素W_t，相似函数为：

T-SimplE： 实体e的嵌入有两个向量h_e，t_e，关系r有两个向量V_r，V_r-1，时间戳t有一个向量W_t。四元组的相似函数定义为：

在T-SimplE模型中，对于时间敏感的特征，使用相似函数：

时间不敏感的，相似函数为：

引入参数α整合上述两个式子得：

α ∈ [1, d]，实体和关系通过各维度得hadamar乘积运算。可以区分时间敏感和不敏感特征。例如：

对于每个事实f = (h, r, t，τ)，我们将生成两个查询:1−(h, r，?，τ)和2−(?，r, t，τ)。对于第一个四元组，我们生成一个候选答案集C_f,h，其中随机选取的其他实体h和n(以下称为负比率)。对于第二个四元组，我们生成一个相似的候选答案集C_f,t。采用交叉熵作为损失函数来最小化：

实验

实验结果