Applications2022Sci1区时序图谱补全

Block term decomposition with distinct time granularities for temporal knowledge graph completion

摘要

TGA补全是图嵌入的重要任务，现有的方法仅从单一粒度对时间进行编码，缺乏对时间点和时段特征导致无法同时处理离散事实和连续实时这两种不同时间形态的实时。本文提出一种TKG嵌入模型引入区块项张量分解，利用核心张量和因子矩阵提取不同时间粒度下的信息，以时间段内的矩为中心，将离散事实视为连续事实的特例，统一管理不同类型事实的特例，此外显式设计实体和关系及其交互的静态属性。

创新与局限

本文创新提出从两个不同的时间尺度对事实进行建模，采用分块项分解的方法设计事实评分。在不设置过大的实体和关系维度的情况下，该模型能够快速收敛并取得满意的结果。
为每个粗粒度时间片提供独立嵌入的想法类似于Transformer中的位置编码技术，但不同于对序列中token位置信息进行编码，BTDG不具有该功能，未来将解决这个问题。
同时，该模型将时间段内的每个粗粒度时间片同等对待，但事实上对事实推理的贡献不同，可以通过调整时间片的权重来解决。此外，不同时间粒度的概念也可以扩展到现有的基于其他语义匹配模型或平移距离模型的TKG方法中。

关键点

1.TKG嵌入方法对时间进行编码以获得实体和关系的时间特点表示，如Hyte与TA-DistMult，但仅在单一时间尺度上评估事实的合理性，忽略时间事实的发生同时受到时代北京和近期事件的影响。此外时间以点或时段的形式提供事实有效性的重要信息，KG可以被认为是一个三阶二进制张量，每个元素1或0表示对应于元素索引的事实是有效还是无效。因此，我们考虑采用一种强大的张量分解方法——块项分解(block term decomposition, BTD)建模复杂的信息，包括事实的静态和时间属性，以及时间的离散和连续属性。

方法

1.本文设计的BTDG能够在两种不同时间粒度下提取事实所呈现的信息并考虑事实之间的持续交互，具体通过块项分解显式建模实体和关系的时序和静态属性之间的相互作用，利用核心张量和组件矩阵分解分别提取粗粒度和细粒度的时间信息，统一处理离散和连续的事实，并同时考虑事实的静态和时序性质。
2.假设现实世界图谱的演化是平滑的，没有突然的变化，相邻的时间点表现出相似的性质，因此在突变惩罚的最终损失函数中增加一个时间平滑项。
3.实体的语义丰富，需要更大的维度来存储实体的信息，而关系的语义相对清晰和单一，关系需要建模大量不同实体之间的交互，因此在较小的维度下也可以得到令人满意的结果。
4.该方法虽然每次迭代的训练时间较长，但收敛速度较快。当迭代次数较小时，在验证集上的结果稳定，在测试集上的结果优于两个基线。我们的方法使用更少的参数进行实体和关系嵌入，并具有额外的核心张量参数，该方法在ICEWS14和ICEWS05-15上需要更多的内存，在Wikidata12k上需要更少的内存。我们需要解释虽然我们方法的空间复杂性是𝑂(𝑛𝛥𝑡∗𝑑𝑒∗𝑑𝑟∗𝑑𝑒)

代码开源

work
https://github.com/JaneYul/BTDG

数据集

ICEWS14 ICEWS05-15 Wikidata12k

基准模型

TransE DistMult ComplEx RotatE TTransE НУТE TA-TransE TA-DistMult DE-SimplE ATISE TeRo