EMNLP2022基于逻辑规则嵌入的时序图谱模型

An Adaptive Logical Rule Embedding Model for Inductive Reasoning over Temporal Knowledge Graphs

摘要：

现有关于时序知识图的外推推理，主要有依赖于学习到的实体与关系嵌入的基于嵌入的方法和基于逻辑规则的方法，收到可伸缩性的问题。通过学习规则嵌入提取深度因果逻辑，设计了自适应逻辑规则嵌入模型ALRE-IR，并提出一种单类增广匹配损失进行优化，该模型还具备量化的零样本能力。

本文局限与期望

在挖掘逻辑规则时没有充分考虑时间信息，只关注历史路径和当前事件的逻辑因果关系而忽略结果事件发生的具体时间。未来可在路径编码中添加时间信息，以路径中的关系边与当前关系边之间的时间差作为时间特征，并同时对语义特征和时间特征进行编码，提高预测性能。

重要点

1.基于嵌入的模型如RE-Net,CyGNet,TIE，xERTE，RE-GCN等可以提取复杂信息但其黑盒特性使其缺乏可解释性，以上方法无法用于归纳式预测学习。而基于逻辑规则的方法如AnyBURL、Streamlearner与Tlogic采用基于统计的差分法评估规则的置信度并根据规则进行查询并根据规则进行预测，但其是拓展性受限的。
2.本身处理的动态事件表示为四元组<主体、关系、对象、时间戳>，其中时间戳表示静态三元组有效的时长。使用关系路径表示知识图中隐式的逻辑规则并通过学习关系路径的嵌入提取语义特征，自适应地提取可能规则并学习嵌入，基于可解释的因果逻辑进行评分，最终基于规则的相对置信度进行预测。归纳推理模型由以下三部分组成：编码，引出每个输入四元组的所有历史关系路径；解码，根据与之相关的所有事件逻辑规则四元组进行评分；训练，设计一类增广匹配损失优化模型，使模型能够自适应学习合理地逻辑规则。
3.TLogic和我们提出的ALRE-IR都可以将训练后的模型转移到具有公共关系词汇表的数据集上进行归纳推理，但REGCN不能做到这一点。
4.为了分析我们提出的模型在TKG推理中的误差，我们随机抽取了100个不准确预测的测试四倍体，并总结了三种类型的误差。(1)相同关系路径：模型根据历史关系路径与当前关系的相似性进行四倍评分。当对不同的四倍体挖掘相同合理的历史关系路径时，它们将得到相同的分数。(2)时间不敏感性：由于时间信息使用不足，对事件发生的时间预测错误，即在当前时刻预测未来的事件。(3)即时反应事件：当天可能会发生紧急相关事件。数据集中事件的时间间隔为一天，这就阻止了我们捕获在同一天发生的关键历史事件。

方法

1.本文挖掘TKG的深层结构即潜在的逻辑规则，且逻辑规则由一些列关系表示，因此关系是挖掘规则时关注的核心特征，实体只是抽取关系路径的工具。首先从历史子图中提取关系路径并学习包含历史语义的关系路径的嵌入，然后将关系路径与当前事件进行匹配以获得规则，并基于可解释因果逻辑评估规则的置信度，最后根据规则的置信度进行四重评分，并提出单类增广匹配损失优化模型ALRE-IR。训练后的模型可应用于具有公共关系库的新数据进行零样本推理。
2.编码，现有基于表示学习的时序知识推理方法通过学习实体的演化嵌入进行预测，本文提出更具因果逻辑规则推理缺失的部分，并对历史信息进行编码，挖掘历史子图中的关系逻辑规则学习关系路径的表示。根据时间戳t-m到t-1的所有事件构建关系图，对于事件(s, r, o, t)，我们分别取节点s和节点o周围的k跳邻居得到两个子图，并取两个子图的交集。然后删除独立节点以及到节点s或节点o的距离大于k的节点，得到一个包含从节点s到节点o且长度不超过k + 1的所有路径的子图。然后，抽取子图中节点s到节点o的所有路径，并删除实体得到关系路径与其序列嵌入从而提取可变的关系路径中的逻辑语义，反映了两个实体的空间逻辑相关性，利用GRU通过更新门（控制要被保留的历史记忆信息）与重置门（控制被遗忘的消息）两个可学习的门控制信息流
3.解码，四元组的关系路径表示事件“原因”，对象实体作为“结果”，以余弦函数度量交互得分，通过捕获路径pi和关系r之间的相互作用来估计规则的置信度。
4.训练 由于难以正确匹配路径-关系对即没有正确的训练规则，分别从粗粒度四元组和细粒度规则提出一类的增强匹配损失设计训练任务。

开源网址

https://github.com/mxadorable/ALRET-IR

数据集

ICEWS14 ICEWS18 ICEWS0515

基线模型

DistMult ComplEx AnyBURL TTransE TA-DistMult DE-SimplE TNTComplEx CyGNet RE-NET XERTE TLogic RE-GCN