文献名称:Learning Hierarchy-Aware knowledge Graph Embeddings for Link prediction(用于链路预测的学习层次感知知识图嵌入)
在两个方面描述相关工作以及它们与工作之间的关键区别——模型类别和知识图谱中层次结构的建模方法。
Model Category 模型类别
粗略的将知识图嵌入模型分为三类:平移距离模型、双线性模型和基于神经网络的模型。
平移距离模型将关系描述为从源实体到目标实体的平移。
TransE 将相应的得分函数分解为:,在1-N、N-1和N-N关系上表现不佳。
TransH 允许实体在给定不同关系的情况下具有不同的表示,和
是实体在关系特定超平面上的投影,得分函数被分解为:
。
ManifoldE 通将每个有效三元组的假设h+r≈t放宽到来处理多对多问题,候选实体可以位于流形上,而不是精确点上。相应的得分函数被解交织为:
RotatE 将每个关系分解为复杂向量空间中从源实体到目标实体的旋转。得分函数被分解为:。
双线性模型对基于乘积的得分函数进行建模,以匹配实体的潜在语义和体现在其向量空间表示中的关系。
RESCAL 将每个关系表示为全秩矩阵,也可以看作双线性函数。
DistMult 假设Mr是对角矩阵,但表现力较差,并且对于一般知识图来说不够强大。
ComplEx 通过引入复值嵌入来更好地建模不对称关系和逆关系,从而扩展了DistMult。
HolE 通过使用循环相关运算,将REscAL的表达能力与DistMult的高效性和简单性相结合。
基于神经网络的模型 MLP NTN 使用完全连接的神经网络来确定给定三元组的分数。ConvE ConvKB 使用卷积神经网络来解得分函数。 还引入了图卷积网络,因为知识图显然具有图结构。
HAKE属于平移距离模型,与RotatE都使用了模量和相位信息。
但RotatE和HAKE之间存在两个主要区别:1.目标不同。RotatE旨在对包括对称/反对称、反演和合成在内的关系模式进行建模。HAKE旨在对语义层次结构进行建模,同时也可以对上述所有关系模式进行建模。2.使用模量信息的方式不同。RotatE将关系建模为复杂空间中的旋转,这鼓励两个链接的实体具有相同的模量,无论关系是什么。RotatE中的不同模量来自于训练中的不准确。相反,HAKE显式地对模信息进行建模,这在区分层次结构不同级别的实体方面显著优于RotatE。
如何对知识图中的层次结构进行建模?
Li等人(2016)将实体和类别共同嵌入语义空间,并设计了用于概念分类和无数据层次分类任务的模型。
Zhang et al.(2018)使用聚类算法对层次关系结构进行建模。
Xie, Liu, and Sun(2016)提出了TKRL,将类型信息嵌入到知识图谱嵌入中。也就是说,TKRL需要实体的额外的层次类型信息。
本文:1.考虑链接预测任务,也是知识图嵌入中更常见的任务;2.可以在不使用聚类算法的情况下自动学习知识图中的语义层次;3.除了知识图中的三元组之外,不需要任何附加信息。