8.15 知识图谱嵌入技术研究综述-知网-张天成、田雪、孙相会等-软件学报.2023,34(01)-语义匹配模型

（四）模型总结

        基于距离的评分函数的代表模型，具体划分为基本距离模型，翻译模型，复杂关系建模。在复杂关系建模小节中，按照实体与关系的不同表示空间进行细分，表 2 对基于距离的模型进行了全面总结。

二、语义匹配模型 

        语义匹配模型利用基于相似性的评分函数，即通过语义匹配来衡量事实的合理性。语义匹配通常采用乘法公式来变换表示空间中的头实体，使其与尾实体相近。

（一）线性/双线性模型

        线性/双线性模型通过将头实体投影到接近尾实体的表示空间中，将关系表述为一个线性/双线性映射，即通过应用线性运算 (公式 (31))/双线性运算 (公式 (32)) 编码实体和关系的相互作用。

          

        ◆ SME：语义匹配能量模型 (semantic matching energy, SME)提出寻找实体与关系之间的语义联系。在 SME 中，实体和关系类型共享相同的表示形式，将定义多关系图的所有符号嵌入到同一空间中 (等价于删除实体和关系类型之间通常存在的概念差异)，并且定义了若干投影矩阵 (用来刻画实体与关系的内在联系)。SME 使用神经网络架构进行语义匹配，图 6 表明了语义匹配能量函数的基本思想。

         如图 6 所示，SME 首先将输入三元组（h, r, t）的每个符号映射到其嵌入，然后关系嵌入 r 通过函数与头实体嵌入 h 组合，得到；并通过函数与尾实体嵌入 t 组合，得到。最后，将事实的评分函数定义为通过它们的点积匹配，即：

                     

（二）矩阵分解模型 

        矩阵分解是获得低维向量表示的一项重要技术，在利用矩阵分解进行知识表示学习中的一个典型模型是 RESCAL，它是一种基于三向张量分解的新型关系学习方法。

（三）神经网络模型 

         神经网络模型旨在以实体和关系的嵌入为输入，通过神经网络输出事实三元组的概率。神经网络用非线性神经激活函数和更复杂的网络结构来编码关系数据。在最近的研究中，用于编码语义匹配的神经网络取得了显著的预测性能。具有线性/双线性块的编码模型也可以使用神经网络进行建模，例如: SME 模型。代表性的神经网络模型有 MLP，SLM，NTN，NAM等，图 8 显示了部分相关模型的神经网络体系结构。

        ◆ MLP：多层感知机 (multi-layer perceptron, MLP)也被称为多层人工神经网络。它将每个关系以及实体与单个向量相关联，使用标准的多层感知器捕获实体和关系之间的交互。MLP 模型的每个三元组（h, r, t）的评分函数定义如下 ：

         

 其中，和是MLP的参数。

        ◆ SLM：单层神经网络模型 (single layer model, SLM)与 MLP 模型相似，它尝试通过单层MLP 神经网络的非线性操作隐式的连接实体与关系嵌入，以减轻基本距离模型 (SE) 无法协同精确刻画实体与关系的语义联系问题。SLM 模型的评分函数定义为：

                 

 其中，是投影矩阵。虽然SLM模型对基本距离模型(SE)进行了改进，但是非线性操作是以一个更困难的优化问题为代价，只提供了两个实体向量之间的微弱联系。

         ◆ NTN：张量神经网络模型 (neural tensor network, NTN)利用双线性张量在不同的维度下将头、尾实体向量联系起来，NTN模型的每个三元组（h, r, t）的评分函数定义如下：

其中，是一个三阶张量，是与关系 r 有关的投影矩阵，并且是关系 r 的向量。可以看出，SLM是NTN将张量层数设置为0时的特殊情况，同时它还可以看作是MLP和双线性模型的组合。

         同时，与以往的知识图谱嵌入模型不同，NTN 中的实体向量是该实体中所有单词向量的平均值。然而，尽管 NTN 中的张量运算可以更明确地描述实体与关系之间的复杂关系语义关联，但 NTN 的高复杂性限制了其在大规模稀疏知识图谱上的应用。

        ◆ NAM：Liu 等人提出了一种基于深度神经网络的神经关联模型(neural association model, NAM)，用于人工智能中的概率推理。该模型利用深度神经网络中的多层非线性激活函数建模头、尾实体之间的条件概率。

（四）模型总结

        基于相似性评分函数的语义匹配模型，并按照对实体和关系的交互进行编码的不同模型体系结构进行划分，包括线性/双线性模型，矩阵分解模型，神经网络模型 3 个部分。表 3 对语义匹配模型进行了总结。