TeLM模型

最新推荐文章于 2024-10-16 16:58:00 发布

起舞的皮卡邱

最新推荐文章于 2024-10-16 16:58:00 发布

阅读量661

点赞数 1

文章标签： python 开发语言后端

原文链接：https://aclanthology.org/2021.naacl-main.202.pdf

版权

提出TeLM，一种新的时间感知知识图谱嵌入方法，它利用多向量嵌入和线性时间正则化实现四阶张量分解。TeLM通过引入多向量嵌入和线性时间正则化器来增强模型的时间敏感性和表达能力，实现在多个基准上的最先进性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

本文提出了一种新的时间感知知识图嵌入方法TeLM，利用线性时间正则化器和多向量嵌入对时间知识图进行四阶张量分解。此外，还研究了时间数据集的时间粒度对时序知识图完成的影响。实验结果表明，在四个已有的时序知识图补全基准上，使用线性时间正则化器训练的模型在链接预测方面取得了最先进的性能。

介绍

知识图嵌入(KGE)方法将实体和关系嵌入到一个低维的嵌入空间中，并通过输入实体的嵌入及其与评分函数的关系来度量三元组的可信性。
例如，ComplEx中实体和关系被表示为复杂嵌入，一个三重(s, r, o)的得分是用不对称的hermite点积计算的。
本文提出了一种新的TKGE方法TeLM。为TKGE引入了多向量嵌入，更高水平上，本文方法执行四阶张量因子分解的TKG，使用非对称几何乘积。
每个关系都表示为一对对偶多向量嵌入，用于处理关系的开始和结束。通过此方法TeLM可以很好的适应各种形式的时间注释集。
开发了一种新的用于时间表示学习的线性时间正则化函数，该函数在时间平滑函数中引入了偏差分量。证实了TKG数据集的时间粒度对模型性能的影响。

TeLM模型

扩展关系集R为R_b和R_e，R_b用于处理关系R的开始，R_e用于处理关系R的结束。这样得分的平均值增加了两倍，即f(s,r,o,[t_b,t_e]) = 1/2 ( f(s,r_b,o,t_b) + f(s,r_e,o,t_e) )。
TeLM将TKG嵌入到一个多维的2级多向量空间G^2*k中，然后用元素的几何积得到四重积分。TeLM将每个实体、关系和时间步长嵌入为k维2级多向量嵌入M，其中每个分量都是一个多向量，即M = [M1，…，Mk]， i = 1…k, M_i∈G²。
可以定义TeLM的得分函数为：
在这里插入图片描述
τ为时间t对应的步长，

M_s，M_r、M_o、M_τ分别表示s、r、o、τ的k维多重向量嵌入；
⊗2表示2级多向量嵌入之间的元素几何积，例如Mr⊗2 Mτ = [M_r1×₂M_τ1，···，M_rk ×₂ M_τk]；
Sc(·)表示多向量嵌入的标量分量的实值向量；
1表示k × 1的所有k个元素都等于1的向量；
M拔表示多向量的元素方向共轭，即M拔 = [M₁拔，…, M_k拔]。
<a, b> := ∑_k a_kb_k是点积。

损失函数
对于每个关系r创建一个逆关系r^-1,为每个训练四元组（s,r,o,t）创建（o,r^-1,s,t）。在评估阶段，对于(？,r,o,t）回答（o,r^-1,？,t），则logloss可以定义为：
在这里插入图片描述
λ为N3的正则化权值。

时间正则化
本文通过在相邻的时间嵌入之间添加一个偏差分量，开发出一种新的线性时间正则化器方法：
在这里插入图片描述
其中M_b为随机初始化后从训练过程中学习到的偏差嵌入。该线性正则化促进了相邻时间步长的嵌入差小于不相邻时间步长的嵌入差。该公式有助于有效的聚类和排序时间嵌入M_τi。

Ω_b训练批次总损失L_b为四重损失与时间正则化项之和，即:

在这里插入图片描述
λ_T为时间正则化器的系数。

实验结果

在这里插入图片描述

在平滑时间正则化器，投影时间正则化器，3阶自回归时间正则化器，本文的线性时间正则化器下的实验结果。

使用线性时间正则化器和不使用时间线性正则化器的结果对比：

在这里插入图片描述

在事实时间分布比较均匀的ICEWS14上，TeLM的性能随着时间单位u的增加而下降，因为用较小的时间粒度表示时间可以提供更丰富的时间信息。另一方面，图4(b)说明，由于时间数据的长尾特性，使用最小的时间粒度对于Y AGO11k来说不是最优的。适当设置生成时间步长的最小阈值，如tr = 100，可以缓解时间数据长尾特性的影响，从而提高TeLM的链路预测结果，减少时间步长的内存占用。同时，使用过粗粒度的时间单元总是会导致较低的性能，因为在这些情况下时间信息没有得到充分表达。
在这里插入图片描述由图4©和(d)可知，随着嵌入维数的增加，ICEWS14和YAGO11k性能都有所提高。k = 500的TeLM比k = 1740的TComplEx可调参数更少，但性能接近(MRR上的0.612 vs 0.61)。

结论

提出了一种新的TKG补全的时间感知方法TeLM，该方法利用多向量嵌入表示知识图，并利用线性时间正则化实现学习时间的嵌入，对时间知识图进行四阶张量分解。与真实值和复值嵌入相比，多向量嵌入具有更好的泛化能力和更丰富的表达能力，具有更高的自由度。此外，线性时间正则化为时间嵌入提供了更好的几何意义，相对于时间平滑性，提高了TeLM的性能。此外，对不同类型的TKG数据集采用两种时间划分方法，研究时间粒度对TKG完成的影响。提出的用线性时间正则器训练的模型在四个已知的数据集上实现了最先进的时间链预测结果，这些数据集涉及各种形式的时间信息，例如，时间点，开始或结束时间，以及时间间隔。实验结果还表明，选择合理的时间划分方法和适当的时间粒度有利于TKG的完成。