【论文阅读】01-Survey on Temporal Knowledge Graph

1 Introduction

At present, there are two kinds of methods, the distance model-based embedding transformation method and the semantic matching model-based bilinear model. The idea of both ofthem is to embed the knowledge graph containingentities and relations into the continuous low-latitude real vector space

目前有两种方法:基于距离模型的嵌入变换方法和基于语义匹配模型的双线性模型。它们的思想都是将包含实体和关系的知识图谱嵌入到连续的低纬度实向量空间中

There are two kinds of reasoning of temporal knowledge graph, the first is interpolation, for a temporal knowledge graph with time from to to t T , the task of interpolation is to complete the fact that missing in the time t between to and t T . The second is the extrapolation, its main task is to predict new facts in time t > t T . We focus on extrapolation tasks because predicting new facts about future times based on facts in the known knowledge graph helps humans understand hidden factors in events and respond to possible future events,which can be applied to disaster relief or financial analysis.

时间知识图的推理有两种，第一种是插值，对于时间从到t0到tT的时间知识图，插值的任务是补全时间t从到t T之间缺失的事实。第二种是外推，它的主要任务是预测时间t0 > tT的新事实。我们专注于外推任务，因为基于已知知识图中的事实预测未来时间的新事实有助于人类理解事件中的隐藏因素并对可能的未来事件做出反应，这可以应用于救灾或金融分析。

2 Related Works

2.1 Know-Evolve

uses temporal point process to model entities to describe the impact of time on entities, but has a drawback for concurrent temporal reasoning at the same time

采用时间点过程对实体建模来描述时间对实体的影响，但同时存在并发时间推理的缺点。

2.2 TA-TransE

Temporal-Aware Version of TransE(TA-TransE)[8] based on modeling of embedded time information combines time in text form with a Recurrent Neural Network(RNN) is embedded into the relationship and the entity prediction is performed usingscoring function in TransE.

将文本形式的时间与递归神经网络(RNN)嵌入到关系中，并使用TransE中的评分函数进行实体预测

2.3 Tempoarl TransE

Temporal TransE[9] represents entities and relationships in the same vector space, and uses a scoring function similar to TransE for knowledge reasoning

表示同一向量空间中的实体和关系，并使用类似于TransE的评分函数进行知识推理

2.4 ChronoR

ChronoR[lO] also projects entities and relationships to other space through transformation, rotates them based on time, and then uses a new scoring function to reason. However, these dynamic reasoning models only deal with a single time point,cannot capture the time correlation and cannot generalize the graph structure information to the future time.

通过转换将实体和关系投射到其他空间，并基于时间旋转它们，然后使用新的评分函数进行推理。这些动态推理模型只处理单个时间点，不能捕获时间相关性，不能将图结构信息推广到未来时间。

2.5 RE-Net

Recurrent Event Network(RE-Net) can reason concurrent facts at multiple time points in temporal knowledge graph and model temporal correlation

对时间知识图中多个时间点的并发事实进行推理，并对时间相关性进行建模。这种模型使用GNN（图神经网络）以及RNN（递归神经网络）

However, although the aggregator of RGCN[12] used in Re-Net can obtain the neighborhood information under the overall relationship of a certain time, the neighborhood information of non-target entities will also be added in the process of aggregation, which leads to the decrease of the reasoning ability ofthe model and the longer operation time of RGCN aggregation based on graph convolution.

Re-Net中使用的RGCN聚合器[12]虽然可以获得一定时间整体关系下的邻域信息，但在聚合过程中也会加入非目标实体的邻域信息，导致模型推理能力下降，基于图卷积的RGCN聚合操作时间变长。

2.6 RE-GCN

optimize the RGCN aggregation, shorten the training timeof the model, and at the same time add the static constraint of the entity to the model for reasoning

优化了RGCN聚合，缩短了模型的训练时间，同时在模型中加入实体的静态约束进行推理

3 Static Model

前提知识
G={E,R,S}表示Knowledge Base
E={e1,e2,e3...e|E|}表示实体集，其中E表示不同实体
R={r1,r2,r3...r|R|}表示关系集，其中R表示不同关系
S∈ E✖R✖E表示知识图谱
(h,r,t)中，h,t表示头尾实体，r表示关系

3.1 Translation Distance Model（平移距离模型）

3.1.1 TransE

• 实体和关系都被表示为同一空间中的向量。给定一个三元组(h, r, t)，关系向量r被视为头部实体向量h与尾部实体向量t之间的平移或平移
• 评分函数：h + r与t之间的负距离，当评价分数较大时，三元组(h, r, t)作为事实的可能性也较大

3.1.2 TransR

• 因为TransE模型简单高效，但是处理一对多，多对多，多对一复杂关系，存在缺点，
• TransH将关系r投影到超平面上形成一个向量r，超平面的法向量用wr表示
• 比如(h,r,t)中，将h和t就会被投影到关系r所在的超平面中
• 评分函数也随之改变

3.1.3 TransH

TransH与TransR思想是类似的，都用到投影。但是TransH是将实体放在一个空间Rd中，关系放在另一个空间Rk中。Mr表示实体空间到关系空间的一个投影矩阵。评分函数就是公式6

总结：这三个模型是比较简单的。论文给了图，看图就很容易明白意思

3.2 Semantic Model(语义模型)

3.2.1 RESCAL

这个模型是最具有代表性的的语义模型了，这个使用神经网络去做的。

• 首先将实体和一个向量关联起来，其实就是为了方便机器学习训练，捕获他的特征。用矩阵去表示实体之间的关系。可能就是为了方便计算，毕竟实体（向量）与关系（矩阵）在矩阵论里面是可以进行运算的
• 公式理解：头节点h进行了转置，Mr是关系矩阵，t是尾实体。为了计算式子左边，需要对Mr的所有元素进行加权求和。矩阵的每个元素都会与h和t向量相应元素[h]i和[t]j进行相乘
  其中外层求和（对i）：表示 ℎ向量的第i个元素[h]i对应所有贡献，内层求和：表示t向量的第j个元素[t]j对应的贡献

3.2.2 DistMult

论文我感觉应该是打印错了，少一个t。评分函数应该是h(t)✖diag✖t
这个模型就是将RESCAL上一个模型中的Mr矩阵换成了diag即对角矩阵，为什么只有一个一个维度i，因为diag®是一个对角矩阵，意味着r只作用在实体h和t的对应维度。换句话说，关系向量r的每个元素r[i]只会与h和t的第i个元素相乘，因此只会累加一次

3.2.3 HolE

这个模型结合了上面两个模型优势，首先他仍然实体和关系放在d维的R中，然后使用一个叫环操作的方式来表示头尾实体。就是公式9

• 公式9应该是神经网络中的一种特殊的环状卷积，其中向量t的索引通过模运算实现循环。也就是说，向量h和t的每个元素进行逐项相乘，循环地考虑不同位置的元素。
• 单层累加的符号表示对k从0到d-1的求和，即我们对h和t的每个元素进行累加计算；对于每个位置i，计算向量h的元素[h]k与t的元素tmod d 之间的乘积，并对所有k进行累加；这里的模运算就是为了保证当k+i超过向量长度d，索引回到向量起始位置，实现循环
• 公式10就是把关系向量乘进去并累加

总结：以上三个模型的建模图。其实都是用神经网络去搭建的。理解他们之间公式的区别再结合图，就知道对哪里进行了改进

3.3 Modle based on rotation（基于旋转模型）

3.3.1 RotatE

综述说，目前最新的就是RotatE模型。这个模型是基于欧拉变换的。复数部分可以看作旋转的性质。旋转模型将实体和关系映射到复杂的空间。并将每个关系定义为实体从头部实体到尾部实体的旋转。

• h，r，t∈C${}^K$:
  • 在该模型中，实体h和t以及关系r都被嵌入到复数空间C中，C表示复数每个嵌入都是一个复数向量，k表示向量的维度
  • 关系r作为一种旋转操作，即该模型中将r看作头实体h和尾实体t之间的一个旋转角度
• $\circ$
  • 这个符号表示元素逐次乘积，表示对向量h和向量r的每个对应元素进行逐元素相乘。由于h和r是复数向量，因此这个乘积实际上实在复数空间中进行的旋转操作，也就是说关系r通过复数旋转将头实体h变换为尾实体t
• h$\circ$r - t
  • 这个表达式表示：将h向量通过关系 r进行旋转后，减去尾实体 t的向量。换句话说，模型衡量的是h在关系 r作用下旋转后与 t 之间的差异。
  • 这个差异越小，意味着h通过关系r后非常接近t
• $\parallel$h$\circ$r - t$\parallel$
  • 这个表示范数，通常是欧几里得范数，计算两个复数向量之间的距离，衡量他们在复数空间的差异

对于知识图中的自反性关系、对称关系和传递关系，RotatE也能很好地对这些关系进行建模，这是其他静态模型所不能做到的。
图3(a)为Rotate模型与Transe模型的对比。图3(b)显示了Rotate模型在复平面上的旋转情况。图3©显示了Rotate模型如何表示对称关系。

4 Dynamic Models（动态模型）

时序知识图谱，用四元组（s,r,o,t）
分别代表头实体，关系，尾实体，事实发生时间

4.1 Embedded temporal information model（嵌入式时间信息模型）

4.1.1 TA-TransE

这个模型思路非常简单，就是给了一个序列时间，将时间的信息嵌入到关系当中。
TA-TransE会将第一次信息分解成四组如图4，然后将关系类型标记和时态标记共同结合起来标记成一个新的谓语，成为$P_{seq}$,四元组就被转换成了(s,$p_{seq}$,o)

TA-TransE采用LSTM神经网络对序列数据进行建模。首先通过线性层将谓词序列Pseq的每个标记嵌入高维，然后将生成的嵌入序列作为LSTM的输入，每个嵌入序列的长度为n，这样就可以将携带时间信息的谓词序列直接应用到静态知识图的评价函数中

TA-TransE采用随机梯度下降法，评价函数中的所有参数和LSTM神经网络中的参数由模型共同学习，从而获得更好的结果。Ta-TransE谓词序列的生成模式如图5所示。
以1986年为例，图中展示了用时间标记分割时间的方法，如何将分离后的关系和时间序列组合成一个新的谓词序列，以及使用LSTM神经网络生成嵌入向量的过程

4.2 Time rotation model（时间旋转模型）

4.2.1 ChronoR

这个模型其实提到了静态模型中的，也就是3.3中的静态旋转模型。进行了区分，

• ChronoR将实体、关系和时间投影到k维空间上，然后旋转时间，将链接预测问题转化为实体在知识图中的表示和基于关系和时间元素的旋转。
• 将实体，关系，时间投影到k维空间的线性变换群GL(k,R)，GL(k,R)使用了一种可以通过线性变换捕捉实体和关系变化的方式
• s和o是实体和关系在n✖k维实数空间中的表示
• $Q_{r,t}$是一个由关系r和时间t参数化的矩阵，它作用与实体向量s后得到o（另一个实体向量），它是在k维空间中的一个矩阵，表示实体和关系在该空间中的旋转行为。