文献阅读记录（三十二）2023-08-24_平移距离、双线性模型、卷积神经网络的模型分别有那些-CSDN博客

本文链接：https://blog.csdn.net/yangmoua/article/details/132483310

文献名称：Learning Hierarchy-Aware knowledge Graph Embeddings for Link prediction（用于链路预测的学习层次感知知识图嵌入）

在两个方面描述相关工作以及它们与工作之间的关键区别——模型类别和知识图谱中层次结构的建模方法。

Model Category 模型类别

粗略的将知识图嵌入模型分为三类:平移距离模型、双线性模型和基于神经网络的模型。

平移距离模型将关系描述为从源实体到目标实体的平移。

TransE 将相应的得分函数分解为： $f_{r}(h,t)=-||h+r-t||_{1/2}$ ，在1-N、N-1和N-N关系上表现不佳。

TransH 允许实体在给定不同关系的情况下具有不同的表示， $h_{\perp }$ 和 $t_{\perp }$ 是实体在关系特定超平面上的投影,得分函数被分解为： $f_{r}(h,t)=-||h_{\perp }+r-t_{\perp }||_{2}$ 。

ManifoldE 通将每个有效三元组的假设h+r≈t放宽到 $\left \| h+r-t \right \|^{2}_{2}\approx \theta ^{2}_{r}$ 来处理多对多问题，候选实体可以位于流形上，而不是精确点上。相应的得分函数被解交织为： $f_{r}(h,t)=-(\left \| h+r-t \right \|^{2}_{2}\approx \theta ^{2}_{r})^{2}$

RotatE 将每个关系分解为复杂向量空间中从源实体到目标实体的旋转。得分函数被分解为： $f_{r}(h,t)=-\left \| h\circ r-t \right \|_{1}$ 。

双线性模型对基于乘积的得分函数进行建模，以匹配实体的潜在语义和体现在其向量空间表示中的关系。

RESCAL 将每个关系表示为全秩矩阵，也可以看作双线性函数。

DistMult 假设Mr是对角矩阵，但表现力较差，并且对于一般知识图来说不够强大。

ComplEx 通过引入复值嵌入来更好地建模不对称关系和逆关系，从而扩展了DistMult。

HolE 通过使用循环相关运算，将REscAL的表达能力与DistMult的高效性和简单性相结合。

基于神经网络的模型 MLP NTN 使用完全连接的神经网络来确定给定三元组的分数。ConvE ConvKB 使用卷积神经网络来解得分函数。还引入了图卷积网络，因为知识图显然具有图结构。

HAKE属于平移距离模型，与RotatE都使用了模量和相位信息。

但RotatE和HAKE之间存在两个主要区别：1.目标不同。RotatE旨在对包括对称/反对称、反演和合成在内的关系模式进行建模。HAKE旨在对语义层次结构进行建模，同时也可以对上述所有关系模式进行建模。2.使用模量信息的方式不同。RotatE将关系建模为复杂空间中的旋转，这鼓励两个链接的实体具有相同的模量，无论关系是什么。RotatE中的不同模量来自于训练中的不准确。相反，HAKE显式地对模信息进行建模，这在区分层次结构不同级别的实体方面显著优于RotatE。

如何对知识图中的层次结构进行建模？

Li等人(2016)将实体和类别共同嵌入语义空间，并设计了用于概念分类和无数据层次分类任务的模型。
Zhang et al.(2018)使用聚类算法对层次关系结构进行建模。
Xie, Liu, and Sun(2016)提出了TKRL，将类型信息嵌入到知识图谱嵌入中。也就是说，TKRL需要实体的额外的层次类型信息。
本文：1.考虑链接预测任务，也是知识图嵌入中更常见的任务；2.可以在不使用聚类算法的情况下自动学习知识图中的语义层次；3.除了知识图中的三元组之外，不需要任何附加信息。