FS-Net: 面向时序知识图谱推理的频次统计网络

源自：软件学报           作者：刘康正  赵峰  金海          “人工智能技术与咨询”  发布

摘 要

时序知识图谱推理吸引了研究人员的极大关注. 现有的时序知识图谱推理技术通过建模历史信息取得了巨大的进步. 但是, 时变性问题和不可见实体(关系)问题仍然是阻碍时序知识图谱推理模型性能进一步提升的两大挑战; 而且由于需要对历史子图序列的结构信息和时间依赖信息进行建模, 传统的基于嵌入的方法往往在训练和预测过程中具有较高的时间消耗, 这极大地限制了推理模型在现实场景中的应用. 针对以上困境, 提出了一个用于时序知识图谱推理的频次统计网络, FS-Net. 一方面, FS-Net不断基于最新的短期历史的事实频次统计, 动态地为变化的时间戳上的预测生成时变的得分; 另一方面, FS-Net基于当前时间戳上的事实频次统计, 为预测补充历史不可见实体(关系); 特别地, FS-Net不需要进行训练, 而且具有极高的时间效率. 在两个时序知识图谱基准数据集上的大量实验, 表明了FS-Net相较于基准模型的巨大提升.

关键词

时序知识图谱  事实频次统计  时变性  不可见信息

传统的知识图谱通过三元组(头实体, 关系, 尾实体)来表示事实并已经广泛应用于金融、医疗、智能开发管理[1, 2]等领域, 但是现实世界事实的发生往往具有一定的时间约束. 如图 1左图所示: 潘基文在2004年至2006年担任韩国外交部长官, 而在2007年至2016年担任联合国秘书长; 古特雷斯在1995年至2002年担任葡萄牙总理, 而在2017年至今接替潘基文担任联合国秘书长. 如果忽略时间信息, 将会造成知识图谱中时间相关性信息的混淆(如古特雷斯和潘基文). 时序知识图谱在三元组的基础上加入了时间维度, 通过四元组(头实体, 关系, 尾实体, 时间戳)来对事实进行表示, 从而能够准确地表达更为丰富的时间语义信息.

图 1 时序知识图谱、时变性问题和不可见实体问题图示

现实世界中的大多数时序知识图谱是不完整的, 时序知识图谱推理旨在一定的时间条件下对缺失的实体(头实体或尾实体)或关系进行预测. 时间约束的事实往往在一定的时间范围内长期有效, 如图 1左图所示: 葡萄牙在1955年至今都是联合国的成员国, 而潘基文在2007年和2016年之间均担任联合国秘书长. 因此, 时序知识图谱上的推理预测往往在历史中具有重现的模式. 与之前聚焦于当前的预测时间戳进行建模的方法[3−5]不同, 最近的工作[6−12]通过对历史信息进行建模取得了较大的提升. 比如: RE-NET[7]将当前预测时间戳上的查询建模为历史子图序列上重复信息的条件概率; CyGNet[12]借用文本摘要的思想, 从历史中提取非重复的实体, 并为这些实体赋予较大的负得分; RE-GCN[9]设计了循环关系感知图卷积网络(recurrent relational GCN), 在建模一定长度的历史子图内部结构信息的同时, 通过时间门控单元(time gate unit)建模历史子图序列的时间依赖关系. 然而, 它们都忽视了时序知识图谱推理过程中存在的时变性问题.

如图 1右图所示: 时序知识图谱实际上是一个顺序子图序列, 而这些子图在特定的时间戳上都是静态的. 以往的方法认为预测时间戳的历史范畴固定不变, 往往将历史信息约束为训练集和验证集的大小, 所以忽视了时序推理的时变性特征. 比如: 当要预测“2021年的联合国秘书长是谁?”这个问题时, 在固定的历史范畴下, 2021年的预测时间戳可以获得完整的历史信息; 然而随着时间的发展, 当要预测“2022年的联合国秘书长是谁?”这一问题时, 2021年的预测时间戳将会转变为新的历史时间戳(如图 1右图虚线框所示). 因为时序知识图谱中历史事实重现的模式具有一定的时间范围, 比如古特雷斯的历史重复事实最早只能追溯到2017年, 所以, 由于靠近预测时间戳, 新的历史时间戳往往包含着极为重要的历史信息(我们在后文第4.1节和第4.3节对此进行了证明), 则时变的新历史范畴理应将新历史时间戳纳入其中而加以考虑. CEN[13]和DA-Net[14]分别通过在线的学习策略和注意力机制来应对时变性挑战, 但却需要花费大量的时间用于训练和预测, 这极大地降低了模型的现实价值.

另一方面, 如果一个查询预测在某一个时间戳上第1次出现, 那么该预测将会面临不可见实体(关系)问题. 如图 1右图所示: 当要预测“1949年的联合国秘书长是谁?”这一问题时, 由于赖伊是第一任联合国秘书长, 而在历史中也从来没有出现过“赖伊”“联合国”和“秘书长”的实体和关系, 所以无法通过建模历史信息的方法对缺失的实体或者关系进行预测, 这种情况被称为不可见实体(关系)问题. 最近的工作xERTE[6]和TITer[11]均试图从历史信息中归纳不可见实体的嵌入表示, 一方面, 它们忽视了对历史不可见关系的处理; 另一方面, 它们忽略了当前预测时间戳中存在的历史不可见信息.

在本文中, 我们提出了一个频次统计网络FS-Net用于应对时变性和不可见实体(关系)两个挑战. 如图 2所示: FS-Net的时变性频次信息统计模块从一定长度的历史序列中提取重复出现的实体和关系, 并基于历史中的频次统计信息对重复事实赋予一定的正得分, 而对非重复事实赋予一定的负得分, 通过不断时变地更新进行频次统计的历史时间戳范围, FS-Net能够将新出现的历史信息纳入其中加以考虑; 另一方面, 基于当前预测时间戳的频次统计信息, FS-Net的不可见频次信息统计模块从中提取历史不可见的实体和关系, 并同样根据它们出现的频次赋予预测的得分. 如图 2中右侧所示: 当前预测时间戳中的历史不可见实体t3和关系r5被反馈给相应的预测, 而相应的预测得分由灰色的负值根据更新的频次统计转变为一定的正值. 可以看到: FS-Net完全基于频次统计对未知的实体或者关系进行预测, 无需训练, 具有极低的时间损耗(我们在后文第4.4节证明了这一点).

图 2 面向时序知识图谱推理的频次统计网络FS-Net模型框架图

我们工作的贡献可以归纳为以下几点.

● 证明了基于短期历史时间戳和当前预测时间戳的事实频次统计能够有效地解决困扰时序知识图谱推理预测的两大挑战: 时变性挑战和不可见实体(关系)挑战. 基于这个研究, 我们提出了频次统计网络(frequency statistical network, FS-Net)用于时序知识图谱推理. 特别地, FS-Net不仅能够进行实体预测, 还能够对未知的关系进行预测;

● 与以往的基于训练的模型不同, FS-Net是一个完全基于统计的模型, 而不需要进行任何训练; 另一方面, 与以往的基于嵌入的方法不同, FS-Net仅仅通过一个与历史长度相关的循环累加就能够完成对未知实体和关系的预测, 具有较低的时间复杂度, 我们进一步对比证明了FS-Net相较于基准模型, 在训练和预测阶段具有极高的效率;

● 在时序知识图谱推理领域两个公开的数据集YAGO和WIKI上对FS-Net模型的性能进行了验证. 实验结果表明: 与丰富的基准模型相比, 我们提出的FS-Net模型在具有较高的时间效率的同时, 实现了时序推理任务表现上的较大提升.

本文第1节介绍时序知识图谱推理的相关方法和研究现状. 第2节介绍本文构建的面向时序知识图谱推理的频次统计网络模型. 第3节介绍主要实验的细节和与基准模型的结果对比. 第4节进一步设计实验并进行分析和讨论. 最后, 第5节总结全文.

1 时序知识图谱推理相关工作

时序知识图谱推理方法根据是否建模时间信息可以划分为静态的和动态的两类. 另一方面, 时间序列挖掘的方法也在知识追踪(knowledge tracing)领域广为应用.

1.1   静态的时序知识图谱推理方法

静态的推理方法忽视了时序知识图谱中的时间信息, 而只对去除了时间维度的事实三元组进行建模. 静态的推理方法在时序概念被提出之前即得到广泛研究. 基于翻译的方法包括TransE[15]、TransH[16]、TransR[17]、TransD[18]等, 它们将实体和关系投影到低维向量空间, 并使头实体和关系的嵌入向量加和尽可能地接近尾实体的嵌入. RotatE[19]将实体和关系投影到复数空间, 并将关系定义为复数平面从一个实体到另一个实体的旋转. 此外, 基于矩阵分解的方法包括ComplEx[20]、DistMult[21]等. ComplEx[20]对复数空间中的关系矩阵进行特征值分解, 而DistMult[21]将关系的嵌入定义为对角矩阵. 基于卷积网络的方法包括ConvE[22]、Conv-TransE[23]等, 它们将实体和关系表示为两个矩阵, 并引入卷积核来进行卷积操作. 基于小样本学习的方法包括GMatching[24]、MetaR[25、KnowCo-Tuning[26]、MaKEr[27]等, 它们为了解决知识图谱推理过程中存在的长尾问题, 旨在通过少量的训练样本完成对关系特定缺失三元组的预测. 基于图卷积网络的方法包括R-GCN[28]、Comp-GCN[29]等, 它们通过聚合邻域的结构信息来学习知识图谱中的实体表示.

1.2   动态的时序知识图谱推理方法

动态的推理方法由于考虑了时序知识图谱中的时间信息而取得了更好的性能. TTransE[5]通过将时间附加到关系的嵌入中进行推理. HyTE[3]将时间信息建模为超平面, 通过将实体和关系投影到时间戳特定的超平面进行推理. TA-DistMult[4]也将事实的时间信息集成到关系的嵌入中. 然而, 仅仅关注当前预测时间戳无法捕获预测事实在历史中的重现模式, 所以最近的一些工作试图通过建模历史信息来进行推理, 并在性能上取得了较大的提升. RE-NET[7]将事实的发生建模为一定长度的历史子图序列的条件概率. xERTE[6]通过生成一定跳数范围内的推理图来进行推理. CyGNet[12]受启发于文本摘要, 通过复制机制抑制非重复事实在预测中所发挥的作用, 该方法对固定范畴的历史中频次为0的事实赋予较低的负得分, 首次将系统的频次统计方法引入时序知识图谱推理领域, 并证明了其有效性. 但是, 一方面, 它忽略了非负频次信息所带来的价值; 另一方面, 它没有考虑历史发展的时变性问题. CluSTeR[8]通过强化学习提取预测查询的相关子图, 然后通过图卷积网络对相关子图序列进行建模. RE-GCN[9]通过递归的关系图卷积神经网络对一定长度的历史子图序列的演化模式进行建模. TITer[11]同样通过强化学习来对给定查询预测路径中的演化模式进行抽取. TLogic[10]基于时间逻辑规则来对查询预测的路径进行约束.

但是, 上述这些工作都忽略了时序知识图谱推理过程中存在的时变性问题. CEN[13]尝试通过在线的学习策略来应对该挑战, 但是这样的选择需要不断地对训练集进行循环训练, 并且也对验证集和测试集进行训练和预测以获得实体和关系的时变性嵌入表示, 而这极大地降低了模型的时间效率. DA-Net[14]首先提取历史重复事实, 然后采用注意力机制与频次统计信息相结合的方式来应对时变性挑战, 历史重复事实的抽取过程与基于嵌入的注意力计算过程都需要耗费大量的时间, 不具备时效性. 与此相反, FS-Net是一个完全基于统计而非嵌入的模型, 在关注时变性问题的同时, 也同样使推理的时间损耗降到了较低的水准. 另一方面, xERTE[6]和TITer[11]均试图从历史信息中归纳不可见实体和关系的嵌入表示, 而忽略了当前预测时间戳中存在的历史不可见信息. 而FS-Net基于当前时间戳的频次统计信息对历史不可见信息进行抽取, 并将其纳入预测的考虑之中.

1.3   知识追踪的时间序列挖掘方法

知识追踪是构建自适应教育系统的核心和关键, 旨在基于学生行为序列进行建模, 预测学生对知识的掌握程度. 知识追踪问题可以描述为: 给定某个学生的观测序列{x0, x1, …, xt-1, xt}, 预测其下次表现xt+1. 其中, xt={qt, at}, 而qt代表回答的问题知识点, at={0, 1}代表对应的回答是否正确. 因此, 知识追踪模型本质上可以被视为一个基于学生学习历史的时间序列预测问题. 另一方面, 最近的时序知识图谱动态推理方法[6−12]通过对历史子图序列进行建模, 取得了巨大的提升. 与我们聚焦的研究对象相似, 知识追踪的研究(建模)对象为给定学生的历史观测序列, 所以, 知识追踪领域的时间序列挖掘方法对于我们进行时序子图序列的建模有一定的借鉴意义.

一直以来, 有大量的工作投入到了知识追踪领域. 贝叶斯知识追踪(BKT)[30]将学生的知识状态设为一组二元变量, 分别代表其对知识的掌握与否, 并采用隐马尔可夫模型(hidden Markov model)[31]来建模每个学生的知识状态时间序列. 在BKT的基础上, KT-IDEM[32]进一步考虑了学生学习知识过程中的练习难度, 而一些个性化的贝叶斯知识追踪模型[33]则进一步考虑了学生之间的个体差异性. 然而, 早期的BKT模型都假设每个问题的回答只需要一类学习到的知识, 因此, 它们不能处理需要多类知识的问题. 为了应对这一挑战, 动态贝叶斯网络(dynamic Bayesian network)[34]被应用于对多种知识和不同类别知识之间的依赖性进行联合建模. 另外, 一系列基于深度学习的方法又使知识追踪模型的性能获得了进一步的提升. DKT-DSC[35]通过K-means将学生回答问题的表现聚类成组, 并在表现随时间动态变化时更新聚类信息. SKVMN[36]采用一种改进的LSTM (hop-LSTM)对学生知识序列进行顺序建模, 同时保持与DKVMN[37]相同的键值存储结构. SAKT[38]首次在知识追踪模型中引入注意力机制[39]. 基于图算法的知识追踪模型进一步与时序知识图谱领域中的历史子图序列挖掘方法相聚拢. GKT[40]将学生回答问题所需知识结合成图, 图中的边代表知识之间的依赖关系. 他们将知识追踪问题重新组织为时间序列节点分类问题, 并使用传统的图神经网络(graph neural network)来解决该问题. GIKT[41]进一步将问题表示为图中的节点, 通过学习节点嵌入的方式进行答案预测. SKT[42]旨在捕获知识之间的相似、先决条件等关系, 进而增强图中节点嵌入的语义表示.

2 频次统计网络FS-Net

本节我们介绍所提出的时序知识图谱推理模型FS-Net. 首先对符号和任务进行定义; 然后, 依次介绍FS-Net的总体设计框架以及构成FS-Net的两个模块: 时变性频次信息统计模块和不可见频次信息统计模块; 最后, 对FS-Net在训练和预测过程中的计算复杂度进行分析.

2.1    符号和任务定义

在一个时序知识图谱G 中, 我们定义实体集为E , 大小为E; 定义关系集为R , 大小为R; 定义时间戳集合为T , 大小为T. 定义时序知识图谱中的一个事实四元组为(h, r, t, τ), 其中, h表示头实体, r表示关系, t表示尾实体, τ表示时间戳, 并且有{h, t}∈E , r∈R , τ∈T , 则时序知识图谱G 可以表示为G ={G0, G1, …, GT−1}, 其中, 每一个时序子图{Gτ|0≤τ≤T−1}由发生在时间戳τ的所有事实三元组(h, r, t)组成.

时序知识图谱推理可以进一步细分为以下两个子任务.

• (1) 实体预测. 在某一个特定的时间戳τ的条件下, 对缺失的头实体(?, r, t, τ)或者尾实体(h, r, ?, τ)进行预测;

• (2) 关系预测. 在某一个特定的时间戳τ的条件下, 对缺失的关系(h, ?, t, τ)进行预测.

对于某一个时间戳τ上的实体预测或者关系预测任务, 以尾实体预测(h, r, ?, τ)为例, 设其缺失的实体为o, 则如前文关于图 1例子的阐述, 需要补全的缺失事实(h, r, o, τ)往往在距离当前时间戳τ一定的历史时间范围{t|τ−k≤t < τ}内有效, 其中, k表示历史时间戳的长度, 即缺失事实(h, r, o, τ)在一定长度k的历史子图{Gt|τ −k≤t < τ}中存在重现的模式{(h, r, o, t)|τ−k≤k < τ}. 更进一步, 基于后文第4.1节和第4.3节中我们对时变性问题的研究, 随着时间的演进, 对于新的预测时间戳τ+1上的预测任务(h, r, ?, τ +1)(同样设缺失尾实体为o), 原本的预测时间戳τ将变为历史时间戳, 而时变的新历史时间戳τ上包含着重要的历史信息. 这是因为缺失事实(h, r, o, τ+1)的有效时间范围{t|τ +1−k≤t≤τ +1}是连续的, 它存在于长度为k的历史子图和当前时间戳子图中. 特别地, 当k足够小时, 对应于缺失事实(h, r, o, τ +1)的有效期足够短, 而在前一个时变的新历史时间戳τ中仍然存在着有用的重复事实(h, r, o, τ), 所以往往最新的时变历史时间戳上包含着重要的重复信息.

2.2   总体设计框架

图 2展示了我们提出的FS-Net模型的整体框架, 它由时变性频次信息统计模块和不可见频次信息统计模块两个部分组成. 对于时间戳τ(时序子图Gτ)上的实体预测任务(h, r, ?, τ)或者关系预测任务(h, ?, t, τ), 为了能够捕获新产生的历史时间戳上重要的重复信息, 与之前的工作将历史范围设定为固定的训练集大小并忽略时变性问题不同, 我们时变地为预测时间戳提取最新的一定长度的历史时间戳上的频次统计信息, 并随着时间的演进, 根据时变性的频次信息统计为不同的时间戳上的预测任务不断更新得分; 为了能够为当前时间戳τ上的预测任务补充时变性的历史信息中仍然不存在的缺失事实, 如图 2中所示的(h, r, t3, τ)和(h, r5, t, τ), 我们又根据当前时间戳τ上的频次统计, 将需要预测的缺失实体t3和缺失关系r5反馈给时变性频次信息统计模块, 并根据它们在当前时间戳上的频次统计赋予预测的得分.

2.3   时变性频次信息统计模块

由于时序知识图谱中事实的时效性, 所以对于一个时间戳τ上的实体预测(h, r, ?, τ), 或者关系预测(h, ?, t, τ), 同样的事实往往在一定的历史长度k上重复出现. 时变性, 即随着预测时间戳的改变, 历史信息的范畴也不断改变, 并不断有新的历史信息产生. 所以, 为了捕获时序知识图谱的时变性特征, 我们动态地随着预测时间戳的改变而更新频次统计的历史范畴, 确保长度为k的历史子图始终包含最新的历史信息.

对于实体预测(h, r, ?, τ)(这里以尾实体预测为例, 头实体预测类似), 历史重复事实可以表示为

其中, {ti}为历史中重复出现的实体.

而非重复事实可以表示为

. 我们通过一个多热的向量

来记录预测查询在长度为k的每一个历史时间戳上的重现模式, 其中, 如果事实(h, r, tq)在第i个时间戳重现过, 那么

的第q维为1; 否则为0. 因此, 长度为k的历史子图的实体频次统计信息可以表示为

   (1)    

其中,

的第q个维度表示为实体tq在长度为k的历史中出现的频次. 该模块进一步基于历史频次信息的统计对非重复的实体赋予一定的负得分, 可以表示为

;而对于重复的实体, 根据其出现的频次赋予一定的正得分:

 (2)    

同样, 对于关系预测(h, ?, t, τ), 历史重复事实可以表示为{(h, ri, t)∈Gj, j < τ}, 其中, {ri}是历史重复关系. 类似地, 多热向量

可以用来记录查询在长度为k的每一个历史时间戳上的重现模式, 其中, 如果事实(h, rp, t)在第i个时间戳重现过, 则有

的第p维为1; 否则为0. 那么长度为k的历史子图的关系频次统计信息可以表示为

(3)    

其中, 

的第p个维度表示为关系rp在长度为k的历史中出现的频次. 同样地, 该模块对非重复的关系赋予一定的负得分, 表示为

;而对于重复关系, 根据其频次赋予一定的正得分:

 (4)    

其中, 

. 该模块最终的得分可以表示为正得分和负得分的加和:

 (5)    

2.4    不可见频次信息统计模块

该模块基于当前预测时间戳的频次统计信息, 将历史不可见实体和关系反馈给时变性频次信息统计模块所获得的得分.

我们同样通过一个多热向量来记录当前时间戳的频次统计信息. 对于实体预测(h, r, ?, τ), 假设其缺失的尾实体为t, 则该多热向量可以表示为

.如果事实(h, r, tq)在当前预测时间戳出现过, 那么

中第q个相应的维度为1. 而与

 中的记录不同, 对于历史中没有出现过的实体, 

 中的相应维度为1, 而不是0, 这是因为当前时间戳τ下存在推理的完整事实(h, r, t, τ), 缺失的实体t虽然为历史不可见信息, 却一定存在于当前时间戳τ, 进而可以将历史不可见实体纳入预测的考虑. 同样地, 不可见频次信息统计模块为频次统计为0的实体赋予一定的负得分:

 (6)    

其中, δ是一个任务特定的常量, 我们设定其为50. 对于关系预测(h, ?, t, τ), 其处理过程与上述实体预测类似, 针对关系预测的该模块得分可以表示为

 (7)    

所以, 对于FS-Net模型, 最终基于长度为k的历史时间戳和当前预测时间戳的频次统计信息所获得的进行实体和关系预测的得分可以表示为

 (8)    

其中, 对于实体预测任务, 

; 而对于关系预测任务,

. 预测的过程可以看作一个进行多标签分类的过程, 而Sc中的每一个维度均表示为预测相应的实体或关系作为缺失事实的概率.

2.5    计算复杂度分析

FS-Net极高的时间效率主要有以下两个方面的原因: (1) 基于统计而无需训练, 在训练过程的时间消耗为0; (2) 预测过程中的计算复杂度较低. 下面我们对FS-Net模型在预测阶段的时间损耗进行了分析. 像之前工作[12]的做法一样, 我们采用大小为E*R×E的稀疏矩阵(对于关系预测为E*E×R的稀疏矩阵)对长度为k的历史子图的重复模式(频次信息)进行记录. 比如: 事实(h, r, t, τ)在第τ个时间戳上存在, 那么对应于时序子图Gτ的记录稀疏矩阵中坐标(h*r, t)对应的元素为1, 否则为0, 则历史频次信息的抽取所消耗的时间复杂度为O(k). 时变性频次信息统计模块的得分仅仅通过一个与历史长度k相关的循环累加, 将相应记录频次信息的稀疏矩阵相加即可获得, 所以该模块的时间复杂度为O(k). 类似地, 针对当前预测时间戳的不可见频次信息统计模块的时间复杂度为O(1). 进而在预测过程中, 以尾实体预测(h, r, ?, τ)为例, 基于长度为k的历史子图{Gτ−k, Gτ−k+1, …, Gτ−1}对应的稀疏矩阵的加和, 最终所得的加和稀疏矩阵中保存着预测时间戳中每一个事实在历史的k个子图中出现情况与频次统计. 比如: 对于尾实体预测(h, r, ?, τ), 我们通过简单地读取最终的加和稀疏矩阵中的第h*r行, 就可以完成查找匹配并获得维度为E的多热向量, 该向量即为针对该尾实体预测的多分类实体得分. 所以, FS-Net的训练和预测的计算复杂度为O(k). 我们进一步在后文第4.3节证明了k取值为较小的常数即可以满足FS-Net正常的推理和预测.

3 主实验

本节在两个公开的时序知识图谱数据集上对我们提出的FS-Net模型的性能进行评估.

3.1    数据集介绍

我们用来进行模型性能评估的时序知识图谱数据集包括YAGO和WIKI: YAGO数据集是传统的大型知识图谱YAGO3[43]的时序子图, 而WIKI也来自于维基百科中的时序信息. 在以往的工作[3−14]中, YAGO和WIKI两个数据集已被广泛应用于时序知识图谱推理模型性能的评估. 根据这些以往的工作[3, 6−14], 我们按照80%/10%/10%的比例将两个数据集划分为训练集、验证集和测试集, 其中, 根据传统的定义, 训练集和验证集用于进行训练, 而测试集用于进行预测. 数据集的详细信息见表 1.

表 1 时序知识图谱实验数据集

3.2    评估指标及基准模型

我们将FS-Net与丰富的基准模型进行了对比, 这些模型包括静态的推理方法, 如DistMult[21]、ConvE[22]、ComplEx[20]、Conv-TransE[23]、RotatE[19]和R-GCN[28]. 对比的动态的推理方法包括TTransE[5]、HyTE[3]和TA-DistMult[4]. 一些动态的推理方法通过建模历史信息获得了很大的提升, 这些方法包括RE-NET[7]、CyGNet[12]、xERTE[6]、RE-GCN[9]、TITer[11]和CEN[13]. 这些对比的基准模型详见第1节相关工作中的介绍.

在主实验中, 我们使用经典的指标来评估FS-Net与基准模型的性能, 包括平均倒数排名(MRR)、排名前3和排名前10的命中率(Hits@3/10), 它们都表示着缺失的实体或者关系在预测结果中的排名. 对于实体预测任务, 我们报告头实体预测和尾实体预测的平均结果. 以往的工作[6, 8−11, 13]已经证明: 对于评估指标而言, 传统的静态过滤设置(filtered setting)[15−29]由于在过滤过程中忽视了时序的特点, 所以是不合理的.

与以往工作[9]一样, 不失一般性, 我们采用原始配置(raw setting)的评估指标, 而不进行任何过滤操作, 以报告模型的最真实表现. 主实验的部分结果同样采用以往工作[9]中报告的数值.

3.3    实验细节

我们通过PyTorch框架实现了FS-Net模型, 并在Tesla V100的GPU设备上进行实体和关系的预测任务. 除去第2节介绍的模型参数以外, 对于YAGO和WIKI两个数据集, 我们设定实体预测任务的历史长度k为1; 对于关系预测任务, 我们设定k为3. 设定预测阶段批处理的大小(batch size)为每一个预测时间戳的大小. 对于静态的推理方法, 因为它们在建模时都忽视了时序动态性, 所以与以往动态工作[3−14]的处理方法一样, 我们将时序知识图谱数据集中事实的时间维度去除, 继而符合这些静态模型的输入格式, 然后在一个具有混淆语义的静态知识图谱上进行静态方法的推理预测评估.

对于xERTE[6]、RE-GCN[9]、TITer[11]和CEN[13]这些重要的基准模型, 我们在原始的评估配置下, 采用它们的开源代码和默认参数在与FS-Net相同的实验环境里对YAGO和WIKI两个数据集上的结果进行了复现. 对于应对时变性挑战的CEN[13]模型, 我们分别报告了它在离线设置(offline setting)和在线设置(online setting)下的表现, 其中, 其在线设置是为了解决时变性问题而提出的.

3.4     主要实验结果

本节我们分别在实体预测和关系预测任务上对FS-Net和基准模型的性能进行比较.

● 实体预测

如表 2所示, 我们将最好的结果加粗, 次好的结果加下划线.

表 2 FS-Net与时序知识图谱推理方法在原始配置下的实体预测性能比较(以百分比的形式展现)

可以看到, FS-Net的表现要远好于静态的推理模型, 这是因为静态的推理方法完全忽略了时序知识图谱中的时间信息. 然而, 一些动态推理方法的表现甚至还要差于静态的方法, 比如TTransE, HyTE和TA- DistMult. 这是因为这些方法仅仅关心时间信息的嵌入表示方法, 更多地聚焦于当前预测时间戳的建模, 而忽略了包含在历史中的大量有价值的信息. 与最近的建模历史信息的动态推理方法RE-NET, CyGNet, xERTE, RE-GCN, TITer和CEN(offline)相比, FS-Net的表现仍然要优于这些模型, 因为它们都忽视了时变性的问题. 与尝试解决时变性问题的CEN(online)方法相比, FS-Net的表现仍然较优. 这是因为基于嵌入的CEN (online)方法没有考虑不可见实体问题, 而无法获得历史不可见实体的合理的嵌入表示, 进而影响了模型的表现. 我们也观察到, TITer的表现甚至要好于CEN (online). 一方面, 这是因为TITer尝试建模了历史不可见信息; 另一方面, 与其他模型在整个实体集范围内进行排名评估不同, TITer通过强化学习的方法直接在候选集中进行排名评估, 而候选集的大小要远小于实体集, 所以往往能收获更好的性能表现.

● 关系预测

如表 3所示, 同样地, 我们将最好的结果加粗, 次好的结果加下划线. 由于两个数据集中的关系数目较少(YAGO数据集包含10个关系, 而WIKI数据集包含12个关系), 所以我们仅报告最具代表性的MRR指标的结果. 以往大量的工作研究了时序知识图谱推理中的实体预测任务, 而在关系预测任务中的研究不多. 具体而言, 像以往工作[9]那样, 对于静态的推理模型, 我们对比了ConvE[22]和Conv-TransE[23]; 而对于动态的推理模型, 我们对比了R-GCRN[44]和RE-GCN[9], 其中, GCRN[44]是同构图模型, RE-NET[7]通过用R-GCN[28]代替模型中的图卷积网络(GCN)而将其推广到R-GCRN. 相较于在实体预测任务上的提升, FS-Net相较于基准模型的提升相对较小. 这是因为关系的数目要远小于实体数目, 所以关系预测相对容易. 基准模型中, 动态方法的表现要相对优于静态的方法, 这也是因为它们建模了时间信息. RE-GCN由于捕获了历史子图序列的演化模式而显著优于其他基准模型, 但是同样地, 它忽略了时序知识图谱推理过程中的时变性问题和不可见关系问题. 因此, FS-Net在关系预测任务上的表现也要显著优于包括RE-GCN在内的所有基准模型.

表 3 FS-Net与时序知识图谱推理方法在原始配置下的关系预测性能比较(以百分比的形式展现) 

4 分析和讨论

为了进一步评估和分析面向时序知识图谱推理的频次统计网络FS-Net的有效性, 我们在难度更大的实体预测任务上继续研究了以下5个问题.

• RQ1: FS-Net的时变性频次信息统计模块建模时变性特征的表现如何?

• RQ2: FS-Net的不可见频次信息统计模块捕获不可见实体的表现如何?

• RQ3: FS-Net的关键参数——历史长度k的取值对模型的表现有何影响?

• RQ4: FS-Net的时间效率如何?

• RQ5: FS-Net擅长什么场景条件下的时序推理任务?

4.1    时变性问题分析

为了回答RQ1, 我们将YAGO数据集的测试事实按照时间戳划分为5个单独的集合{183, 184, 185, 186, 187}, 其中, 每一个数字代表一个年份. 随着时间的演变, 我们依次报告模型在每一个时间戳上的表现. 以往的方法忽视了时变性问题, 将训练集和验证集作为固定的历史空间, 而未考虑历史范畴的时变. 为了直观地反映FS-Net的时变性频次信息统计模块建模时变性特征的能力, 我们在研究该问题的同时未考虑不可见实体问题(即不通过不可见频次信息统计模块补充预测时间戳的不可见信息).

如图 3所示: 由于受空间限制, 我们同样采用最具代表性的MRR指标进行比较. 其中, FS-Net代表我们提出的FS-Net模型的时变性频次信息统计模块的表现; FS-Net (w.FH)代表将历史范畴固定为训练集和验证集大小情况下FS-Net模型的表现; CEN (online)代表以往的尝试建模时变性信息的在线设置下的CEN模型. 可以看到: 在第1个预测时间戳(183), 由于与验证集相邻, 所以当前情况下3个对比的模型具有相同的历史空间. 因此, FS-Net和FS-Net (w.FH)在183时间戳的表现相同, 而CEN (online)表现也不相上下. 但是随着时间的发展演变, 未考虑时变性信息的FS-Net (w.FH)的表现显著下降, 而考虑了时变性信息的FS-Net和CEN (online)持续具有较好的表现, 而且两个模型在线型趋势上的一致性证明了FS-Net模型解决时变性问题的有效性. 另一方面, CEN (online)着重建模时序子图序列的演化模式, 执着于获得历史实体的准确嵌入表示, 而忽视了时序知识图谱更为直接的重现模式. 因此, FS-Net的时变性频次信息统计模块的表现随时间持续优于CEN (online), 这也证明了重现模式在时变性背景下, 特别是时间戳粒度较大(1年)的情况下, 作用更加凸显.

图 3 在YAGO数据集上的时变性问题分析

4.2    不可见实体问题分析

为了回答RQ2, 我们分别在去除不可见实体信息和补充不可见实体信息的情况下, 测试FS-Net的不可见频次信息统计模块所发挥的作用. 由于FS-Net由两个模块组成, 去除不可见频次信息统计模块的FS-Net模型实际上是时变性频次信息统计模块. 因此, 我们同时与解决时变性问题的CEN (online)模型和解决不可见实体问题的TITer模型进行比较. 由于空间原因, 我们同样仅报告最具代表性的MRR指标.

如图 4所示, FS-Net代表我们所提出的完整模型, 而FS-Net (wo.UE)代表不包含不可见频次信息统计模块的FS-Net模型.

图 4 在YAGO和WIKI数据集上的不可见实体问题分析

 可以看到, FS-Net (wo.UE)的性能还要略优于CEN (online). 如第4.1节所述, 这证明了FS-Net的时变性频次信息统计模块的有效性. 在不加入不可见频次信息统计模块之前, FS-Net (wo.UE)的性能差于TITer, 这是因为TITer考虑并建模了历史不可见信息. 而且如第3.4节所述, 基于强化学习方法的TITer往往能够收获到更好的结果数据. 当加入不可见频次信息统计模块之后, FS-Net模型的性能实现了一定的提升, 并要优于TITer模型的表现. 这是因为TITer执着于从历史子图中对不可见信息进行归纳, 而忽视了预测时间戳中存在的更为直接的历史不可见信息. 这也证明了FS-Net的不可见频次信息统计模块在解决不可见实体问题时的优越性. 具体而言, 由于当前时间戳中针对不可见实体的预测查询往往没有在历史中出现过, 所以这些历史不可见实体即便仅仅在当前预测时间戳的频次统计中出现过一次, 也能对历史非重复的预测提供可靠的帮助.

4.3    灵敏度分析

为了回答RQ3, 我们分别在YAGO和WIKI数据集上对历史长度k的取值进行了研究. 我们设定参数k的取值区间为{1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14}. 在报告模型的MRR、Hits@3、Hits@10性能指标表现的同时, 我们也统计了模型在k取值发生变化的情况下, 预测过程所消耗的时间. 需要注意的是: 为了能够同时展现模型的预测时间与性能表现, 对于YAGO数据集, 所消耗时间的统计在原始数值的基础上加了70; 而对于WIKI数据集, 时间统计在原始数值的基础上加了10. 所以, 图 5仅刻画了预测时间消耗随历史长度k的变化趋势.

图 5 FS-Net的性能和时间效率随历史长度k的变化研究(灵敏度分析)

   

如图 5所示: 在两个数据集上, 随着k的增加, 模型的性能都呈下降趋势. 这是因为时序知识图谱中的事实都具有一定的时效性, 有价值的历史信息往往聚集在距离预测时间戳较近的历史时间戳内. 显而易见: 随着历史长度k的增加, 进行频次统计的时间消耗将会增大, 即图中的“Time”曲线都呈上升趋势. 因此, 时序知识图谱的时效特性又极大地降低了FS-Net进行频次统计所消耗的时间, 历史长度k往往取较小的数值即可满足FS-Net进行时序推理的有效性. 所以, FS-Net对参数k敏感也证明了模型在预测阶段具有极高的时间效率.

4.4    时间效率对比分析

为了回答RQ4, 我们分别对比了FS-Net、RE-GCN、CEN (online)和CEN (offline)这4个模型在训练过程、预测过程和训练加预测过程的时间消耗.

如图 6(a)所示: 我们提出的基于频次统计的FS-Net模型不需要进行训练, 所以在训练过程中的时间消耗为0; 对于CEN (online)和CEN (offline)模型的训练时间统计, 我们采用它们提供的开源代码中的默认训练轮次(epoch); 对于RE-GCN模型, 由于它的开源代码中没有明确规定训练轮次, 所以我们统计它进行30轮训练(与CEN相同)的时间消耗. CEN (online)和CEN (offline)在训练过程中时间消耗较大的原因是, 它们经历了“Pre-train”和“Curriculum train”两个训练步骤. 而如图 6(b)所示: 在预测过程中, CEN (offline)和RE-GCN模型由于没有考虑解决时变性问题而具有较高的时间效率. 然而, FS-Net的时间效率要远高于同样考虑时变性问题的CEN (online)模型. 因为FS-Net完全基于统计, 而且如第4.3节所述, 进行统计操作的历史长度参数k取值很小, 这使得FS-Net在预测阶段同样具有极高的时间效率. 总的来说, 如图 6(c)所示, 我们提出的面向时序知识图谱推理的FS-Net模型具有远低于卓越的基准模型的训练和预测时间损耗.

图 6 在YAGO和WIKI数据集上的时间效率对比分析

4.5    FS-Net的推理场景(局限性)分析

为了回答RQ5, 我们在WIKI数据集上进行了实验. 根据第2节、第3节中对FS-Net模型和实验细节的介绍, 以时间戳τ上的尾实体预测(h, r, ?, τ)为例, FS-Net从时变的前一个时间戳τ−1上提取重复出现的历史事实{(h, r, ti, τ−1)}, 并从当前时间戳τ上补充历史不可见信息{(h, r, tj, τ)}, 最终的预测尾实体从候选集{ti∪tj}中选取. 显然, 如果预测事实(h, r, ?, τ)为一对一关系事实, 那么|{ti∪tj}|=1, 缺失尾实体t∈{ti∪tj}将为预测的唯一候补; 反之, 如果预测事实(h, r, ?, τ)为一对多关系事实, 那么|{ti∪tj}| > 2, 过多的候选实体将会使FS-Net产生困惑.

我们首先将WIKI数据集的测试集部分按照预测时间戳进行划分; 然后, 分别报告每一个预测时间戳中一对一关系事实和一对二关系事实所占的比例, 以及该预测时间戳的MRR指标性能表现. 如图 7所示, 横坐标代表预测时间戳的年份, “One-One & Two”代表一对一和一对二关系事实所占当前预测时间戳事实总数的比例, “One-One”代表一对一关系事实所占当前预测时间戳事实总数的比例. 可以观察到: 在WIKI数据集的每一个预测时间戳上实体预测和关系预测的表现中, MRR指标的统计与一对一关系事实和一对二关系事实所占的比例呈强相关, 这与我们前面的分析相对应. 同样, 对于尾实体预测(h, r, ?, τ), 如果其为一对多关系事实, 则历史候选实体{ti}和历史不可见候选实体{tj}中将包含多个冲突候选, 而FS-Net对这种场景是不友好的. 因此, FS-Net高效的建模擅长对一对一关系、一对二关系等事实场景下的稀疏图进行推理预测; 而一对多、多对多关系事实的稠密图场景, 也是我们未来的一个重要研究内容.

图 7 WIKI数据集上FS-Net的推理场景(局限性)分析  

5 总结

本文提出了一种面向时序知识图谱推理的频次统计网络(FS-Net), 该方法时变地对一定长度的历史事实频次进行统计, 并基于此为不同时间戳的预测查询生成时变的得分; 而且, 基于预测时间戳上的事实频次统计, 该方法为查询预测补充相应的历史不可见信息. 实验结果表明, FS-Net模型能够很好地应对时序知识图谱推理领域的时变性和不可见实体(关系)两大挑战. 另一方面, FS-Net在性能表现超过卓越基准模型的同时, 也具有远低于它们的时间消耗. 因此, 基于统计的FS-Net模型能够高效、准确地完成时序知识图谱上的推理任务, 进而相较于基准模型具有更好的应用价值.

声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。

“人工智能技术与咨询”  发布