8.16+8.18 知识图谱嵌入技术研究综述-知网-张天成、田雪、孙相会等-软件学报.2023,34(01)-最新的知识图谱嵌入模型

三、最新的知识图谱嵌入模型

        最近几年研究KGE的方法众多，其中的主流方法具体划分为卷积神经网络模型，旋转模型，双曲几何模型和其他模型。

（一）卷积神经网络

        卷积神经网络 (convolutional neural networks, CNNs) 在自然语言处理领域受到广泛关注，与全连接神经网络相比，CNN 学习非线性特征，以非常少的参数数量捕捉复杂关系。此外，CNN 可用于学习深层表达特征。ConvE是第一个使用二维卷积层的神经链接预测模型，其中输入实体和关系之间的交互由卷积层和全连接层建模，图 9 显示了 ConvE 模型的体系结构。在 ConvE 模型中，实体和关系嵌入首先被重构和连接 (步骤①、②)，然后得到的矩阵被用作卷积层的输入 (步骤③)；将得到的特征映射张量向量化并投影到 k 维空间中 (步骤④)，并与所有候选尾实体嵌入匹配 (步骤⑤)。

        ConvE 将头实体和关系重构成二维矩阵，通过卷积层和全连接层建模实体和关系之间的相互作用。然后与矩阵 W 和尾实体进行计算，判断当前事实三元组的可信度。形式上，ConvE 的评分函数定义如下：

                   

其中，Mh，Mr分别表示头实体嵌入 h 和关系嵌入 r 的二维矩阵，如果，则 ，其中，vec是将张量重构为向量的一个向量化操作。

        ConvE 是用于链接预测最简单的多层卷积体系结构，可以通过多层非线性特征学习表达语义信息，并且该模型具有很高的参数利用率，可以在参数分别减少了 8×和 17×的前提下，得到与DistMult和 R-GCN模型相同的性能。

         然而，ConvE 只考虑了头实体向量 h 或关系向量 r 中不同维度条目之间的局部关系，没有考虑嵌入三元组（h, r, t）中相同维度条目之间的全局关系，忽略了过渡特征。针对这个问题，提出用于知识库补全的实体和关系嵌入模型 ConvKB。ConvKB 采用 CNN 编码实体与关系的级联，而不需要重构，与捕捉局部关系的 ConvE 相比，ConvKB 保留了过渡特征。

         图 10 显示了 ConvKB 的计算过程 (嵌入大小 k=4，卷积核数目 =3，激活函数 g=ReLU)。在 ConvKB 中，每个实体或关系都与唯一的 k 维嵌入相关联。对于每个三元组（h, r, t），对应的 k 维嵌入三元组（h, r, t）表示为一个 k × 3 的输入矩阵，将该输入矩阵馈送到卷积层，在卷积层中使用对应形状的不同过滤器提取嵌入三元组的相同维度条目之间的全局关系。这些过滤器在输入矩阵的每一行上重复操作，以产生不同的特征映射。设分别表示过滤器的集合和过滤器的数目，即：，则得到个特征映射。将个特征映射连接成单个特征向量，通过点积计算该向量与权重向量以给出三元组（h, r, t）的得分。ConvKB 模型的评分函数定义如下：

                                 

         ConvKB 模型可以看作是 TransE 进一步建模全局关系的扩展。

                 

         ◆ HypER：HypER利用超网络生成一维关系特定的卷积过滤器，以实现知识图谱中不同关系之间的多任务知识共享，同时超网络体系结构能够在非线性表现和要学习的参数数量之间进行权衡，因此该模型也简化了二维 ConvE 模型引入的实体和关系嵌入之间的交互。此外，HypER 模型使用超网络生成的关系特定卷积过滤器对嵌入的头实体的每个维度进行卷积。因此，该模型具有更强的表达能力。

        HypER 的可视化如图 11 所示，头实体嵌入 h 与由超网络 H 根据关系嵌入 r 创建的滤波器器 进行卷积，将获得的特征映射通过权重矩阵 W 和非线性函数 f 映射到维空间中，并利用内积操作与每个尾实体向量组合，为每个三元组提供分数，最后应用 Sigmoid 函数预测分数。HypER 的关系特定评分函数定义为：     

其中，表示将向量重塑为矩阵的操作，非线性函数 f 为 ReLU，超网络，其中表示滤波器长度，为每个关系的滤波器数量。关系嵌入，滤波器。特征映射, 其中特征映射长度。

          

        HypER 是第一个通过将关系特定过滤器与实体嵌入卷积以非线性地结合实体与关系嵌入的模型，在链接预测任务上取得了良好的性能 。

（二）旋转模型

         现实世界中的 KG 通常是不完整的，因此，预测缺少的链接是知识图谱面临的一个首要问题。为了预测缺失链接，从观察到的事实中找到建模和推断对称/反对称，反转和合成模式的方法是非常重要的。

        针对现有模型无法同时对上述 3 种模式进行建模这一问题，受欧拉公式启发，提出了一种新的知识图谱嵌入方法 RotatE，该方法能够同时对反转，对称/反对称和合成等关系模式进行建模和推理。

        RotatE 模型将实体和关系映射到复数向量空间，并将每个关系定义为从头实体到尾实体的旋转。即给定三元组（h, r, t），期望，其中是嵌入，模长。因此，对于复数空间中的每个维度，期望：，其中。

        按照上述定义，对于每个三元组，将RotatE的评分函数定义如下：

                                           

        通过将每个关系定义为复数向量空间中的旋转，RotatE 可以对上述 3 种类型的关系模式进行建模和推理，并且由于 RotatE 模型在时间和内存上都保持线性，因此易于扩展到大型知识图谱。此外，2018 年提出的 TorusE 模型可以看做是 RotatE 的特例，其中嵌入模长设置为固定值，而 RotatE 定义在整个复数空间上，具有更强的表示能力。

什么是ReLU函数？

        ReLU，全称为：Rectified Linear Unit，是一种人工神经网络中常用的激活函数，通常意义下，其指代数学中的斜坡函数，即

                                                   

        对应的函数图像如下所示： 

 

        而在神经网络中，ReLU函数作为神经元的激活函数，为神经元在线性变换之后的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量 x，使用ReLU函数的神经元会输出

至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。

 参考：

深入理解ReLU函数