8.7+8.8+8.14 知识图谱嵌入技术研究综述-知网-张天成、田雪、孙相会等-软件学报.2023,34(01)-复杂关系建模

1  基本符号定义

 （三）复杂关系建模

        TransE 模型在大规模知识图谱上效果明显，但是由于其模型简单，导致 TransE 无法对知识库中的复杂关系建模，这里的复杂关系定义如下。按照知识库中关系两端连接实体的数目，可以将关系划分为 1-1，1-N，N-1 和 N-N 这 4 种类型，例如 1-N 类型关系指的是一个头实体会平均对应多个尾实体。我们将 1-N，N-1 和 N-N 称为复杂关系。研究发现，各种知识获取算法在处理 4 种类型关系时的性能差异较大，例如：TransE 在处理复杂关系建模时性能降低，这与其模型的假设有密切关系。

        例如：事实“比尔·克林顿在 1993 年到 2001 年间担任美国总统”可以被抽象为如下三元组：

                                        (hi : BillClinton,ri : wasPresidentOf,ti : USA)

        将另一个事实“乔治·沃克·布什在 2001 年到 2009 年间担任美国总统”，表述为如下三元组：

                                (hj : GeorgeWalkerBush,rj : wasPresidentOf,tj : USA)

        显然，上述两个三元组共享相同的尾实体与关系，而具有不同的头实体。此时，如果使用 TransE 从以上两个三元组学习知识表示，TransE 会推导出hi=hj的错误结论。为了解决这一问题，近年来涌现了大量关于 TransE 的扩展模型，接下来按照实体与关系的不同表示空间进行划分，介绍其中的代表模型。

        (1) Point-Wise 空间

        Point-Wise 欧氏空间广泛应用于表示实体和关系，在向量或矩阵空间中投影关系嵌入，或者捕捉关系交互。

                                                 

         ● TransH：TransH模型使得一个实体在涉及不同关系时具有分布式表示。如图所示，TransH 将实体建模为向量，将每个关系 r 建模为法向量为Wr的关系特定超平面上的向量。具体来说，对于一个三元组(h,r,t)，TransH 首先将头实体向量 h 与尾实体向量沿法线投影到关系 r 对应的超平面上，投影分别记为 ，表示如下：

                                        

        如果三元组 (h,r,t) 成立，即 h⊥+ r ≈ t⊥，假设投影在超平面上由 r 以低误差连接，则 TransH 的评分函数定义为：

                                                

        通过引入投影到关系特定超平面的机制，TransH使得每个实体在不同的关系中具有不同的表示形式。

我的思考-TransH数学推导：

首先，我们假设w为关系平面Wr的单位法向量，在原始的向量h在法向量w上的投影长度为:

                                                                          |W| * |h| * cosθ

整理成向量的形式就是：

                                                                        |W| * |h| * cosθ * W

其中，一定要注意的是W是单位法向量。

也就是说，原始向量h在关系平面Wr上的单位法向量的投影为：

                                 

注：

在数学中，两个向量的内积可以通过将一个向量转置后与另一个向量相乘得到。向量的长度可以通过计算向量的模（即向量的长度）得到。

假设有两个向量，一个是法向量n，另一个是头实体向量h。它们的内积可以表示为n^T * h，其中n^T表示n的转置。

根据向量的内积定义，n^T * h = |n| * |h| * cos(θ)，其中|n|表示n的长度，|h|表示h的长度，θ表示n和h之间的夹角。

则，我们可以确定的是对于映射向量hr有：

                 

我们用图来表示就是：

        ● TransR：TransE 和 TransH 模型假定实体和关系嵌入在同一空间中，但是关系和实体是完全不同的对象。一个实体是多种属性的综合体，而各种关系关注实体的不同属性。因此，某些相似的实体在实体空间中彼此接近，而在某些特定属性上不同，在对应的关系空间中应彼此远离。为了解决这个问题，提出了 TransR 方法，该方法在不同的空间 (实体空间和关系空间) 中对实体和关系进行建模，并在关系空间中进行翻译。                  

        TransR 的基本思想如图所示，对于每个三元组(h,r,t)，首先将头、尾实体向量向关系 r 空间投影，使得原来在实体空间中与头、尾实体相似的实体在关系 r 空间中被区分开。具体来说，对于每一个关系 r，TransR 设置一个投影矩阵，将实体从实体空间投影到关系空间。利用投影矩阵，实体的投影向量定义如下 ：

                                                      

 其中，Mr是从实体空间到 r 的关系空间的投影矩阵。因此，TransR 的评分函数定义为：

                                                   

         ● TransD：虽然 TransR 较 TransE 和 TransH 具有显著的改进，但它仍然存在一些缺陷：① 对于关系 r，头、尾实体共享相同的投影矩阵Mr，忽略了头、尾实体不同的类型和属性；② 投影操作是实体与关系之间的交互过程，因此，投影矩阵仅由关系决定是不合理的；③ 与 TransE 和 TransH 相比，矩阵-向量乘法使 TransR 模型参数急剧增加，因此，TransR 难以应用于大规模知识图谱。

        为此，提出改进模型 TransD，下图显示了其基本思想，每个形状表示出现在关系 r 的三元组中的一个实体对，Mrh 和 Mrt 分别是 h 和 t 的投影矩阵，whi，wti (i = 1,2,3)和 wr 是投影向量。是实体的投影向量，满足。TransD 为每个实体和关系定义两个向量，一个是实体/关系表示，另一个用于构造投影矩阵。例如，给定三元组(h,r,t)，其向量为：，TransD 模型进一步学习了 2 个分别将头 实体与尾实体投影到关系空间的投影矩阵，具体定义如下：                                                

 

        显然，这里的投影矩阵Mrh，Mrt 与实体和关系均有关，并且利用两个投影向量构造投影矩阵解决了 TransR 面临的参数众多问题。对于三元组(h,r,t)，TransD 的评分函数定义如下：

                                 

◆ STransE

◆ TranSparse

◆ TransM

◆ TransA

◆ TransF

◆ ITransF

◆ TransAt

◆ TransMS

（2）流形和群

        流形是由集合论定义为具有邻域的点的集合的拓扑空间，Point-Wise 建模是一个不适定 (从数学上讲, 不适定的代数系统通常会使解决方案不精确且不稳定) 的代数系统，无法在大规模知识图谱中进行精确的链接预测。为了解决这些问题，Xiao 等人提出了一种基于流形的嵌入原理(ManifoldE)，该原理可被看作是一个适定的代数系统，它将 Point-Wise 嵌入扩展为基于流形的嵌入。

        给定三元组（h, r, t），ManifoldE 基于流形的原理，当给定一个头实体和一个关系时，尾实体位于一个高维流形中。ManifoldE 采用三元组远离流形的距离来设计评分函数：

      

 其中，Dr是关系特定的流形参数，MF：是流形函数，其中是实体集，是关系集，是实数字段。

         TransE 模型在计算实体距离之前，对所有的实体和关系向量进行了正则化，这种规范化虽然避免了向量空间的无限扩张，但也导致了新的矛盾。为了避免正则化带来的矛盾，TorusE 模型将映射空间由普通向量空间替换成了李群。在 TransE 的嵌入模型中，向量空间需要满足的条件有： (1) 可微的流形空间，(2) 群运算（+，-）可微且 (3) 能够定义距离函数。TorusE 模型在此基础上增加了空间紧致性的条件，克服了 TransE 的局限性，而且可以证明，紧李群可以满足 TransE 遵循的优化目标和正则化条件。

李群简介：李群是一种只有一个运算的、比较简单的代数结构；是可用来建立许多其他代数系统的一种基本结构。在数学中，李群（Lie group）是具有群结构的实流形或者复流形，并且群中的加法运算和逆元运算是栁形中的解析映射。李群在数学分析、物理和几何中都有非常重要的作用。

李群的概念：拓扑群既是一个群，又是一个拓扑空间，如果更近一步的是一个（微分）流形，那它就被称为李群。

定义1  （实）李群

给定一个实光滑流形 G，若 G 配合二元运算 • 构成一个群，并且以下两个映射都是光滑映射：

1.群运算映射：，其中G × G 是积流形；

2.逆运算映射：

那么我们说 G 是一个实李群，简称李群。 

定义2   紧李群

一个李群被称为紧李群，当且仅当它是一个紧流形。

 （3）高斯空间

        前面提出的部分模型 (例如: TransE) 通过优化全局损失函数来确保 KG 中正三元组分数高于负三元组。然而，这些模型忽略了实体和关系的 (不) 确定性。实际上，不同的实体和关系可能包含不同的确定性，近几年的一些研究考虑了它们的不确定性，并将其建模为随机变量。

◆ KG2E

◆ TransG

 参考：

李群

知识图谱——TransH模型原理

【向量在法向量所垂直的平面上的投影】