基于双曲层次注意力网络的知识图补全模型

Knowledge graph completion model based on hyperbolic hierarchical attention network | International Journal of Machine Learning and Cybernetics

1  引言

1.1  本研究面向问题

现有的大多数工作都集中在对称/不对称/合成/反转关系的建模上，而对层次关系的建模较少。

1.2  解决方案

        本研究提出了一种用于知识图谱补全的双曲层次注意网络(HHAN-KGC)。

        具体地，①HHAN-KGC采用分层注意机制，在欧氏空间和双曲空间中同时传播邻域信息。

                      ②在双曲空间中，通过语义分层注意机制将信息聚集在切线空间上(由两层注意机制组成，即关系层注意机制和实体层注意机制)，解决了现有双曲模型在有效推理复杂关系类型方面的挑战，其中指数和对数映射被视为两个空间之间几何信息传播的桥梁。

                     ③为了捕捉双曲空间中的信息，设计了一种新的信息传播语义交互机制，便于捕捉三重层次之间的低维结构特征。

1.3  相关概念

①双曲几何

        双曲几何空间是一个不标准的几何空间（侧面剖析来看是类似于双曲线的结构）。抽象的讲，一个n维双曲空间就是一个高斯曲率处处为常数的流形，数学家认为这种形状拥有负常曲率(constant negative curvature)。
 

②编码器-解码器结构

编码器（Encoder）

编码器的主要职责是将知识图谱中的实体和关系转换为数值向量，这些向量通常被称为嵌入（embeddings）。嵌入捕捉了实体和关系的内在属性，以及它们在知识图谱中的结构和语义信息。编码器可以是基于图神经网络（GNNs）、循环神经网络（RNNs）、注意力机制或者是其他类型的神经网络架构。例如，在基于图神经网络的模型中，编码器会通过消息传递机制，聚合实体的邻居信息，以生成实体的表示。

解码器（Decoder）

解码器负责利用编码器生成的实体和关系嵌入，预测知识图谱中缺失的实体或关系。在典型的设置中，解码器接收一个实体和一个关系的嵌入，然后生成一个分数或概率分布，指示哪个实体最有可能是缺失的那个实体。这通常涉及到计算嵌入之间的相似度或距离，以判断哪些实体或关系在知识图谱中更有可能形成有效的三元组。

工作流程

• 输入：知识图谱中的一个三元组（例如，(实体A, 关系R, 实体B)），其中可能缺少实体B。
• 编码：编码器将实体A和关系R转换为嵌入向量。
• 解码：解码器利用这些嵌入向量预测缺失的实体或关系，产生一个概率分布，指示知识图谱中哪个实体或关系最有可能是正确的。
• 输出：最有可能的实体或关系，用于补全三元组。

这种编码器-解码器框架在处理序列数据、翻译任务、对话系统等场景中也很常见，但在知识图谱补全的上下文中，它被专门设计用来理解和生成实体与关系之间的链接。

2  HHAN-KGC模型        

单层模型：由两个组件组成:一个编码器和一个解码器，用于预测KG中缺失的三元组。HHAN-KGC集成了层次关注网络来学习HS中实体和关系的嵌入向量。此外，在语义表示学习过程中，它引入了特定于关系的矩阵来桥接实体和跨不同语义空间的关系。

2.1  编码器

        当我们处理知识图谱时，我们注意到有些关系（比如球员）比其他关系（比如所有者或场馆位置）更能确定一个实体（在这里就是休斯顿火箭队）。这就是为什么作者提出了一种称为关系和实体分层注意力机制的想法。这种机制允许我们在处理知识图谱时，给不同的关系分配不同的权重，以便更好地捕捉到重要的信息。这样，我们就可以更加专注于那些对理解休斯顿火箭队至关重要的球员，而不是其他不太相关的细节。

        (s，r_1，o_1)和(s，r_n，o_n)表示涉及中心实体s的相邻三元组。在编码器中，将实体的局部邻域视为层次结构，并在欧氏空间中计算该邻域的关系级注意力α和实体级注意力β。对于每个中心实体s，利用实体级别和关系级别的注意机制，对双曲空间中的相邻信息进行加权聚集，如等式(29)。这产生了基于实体的邻域的双曲线嵌入是^s-H。

        在编码层模块中，关系级注意力（relational layer attention）如何区分中央实体在不同相邻关系上的关注点？

        具体而言，为了在双曲空间（HS）中学习实体和关系的嵌入，实体和关系的原始向量被映射到欧几里得空间，并在欧几里得切平面空间计算关系级注意力向量。

        根据连接尾部实体o和头部实体s的关系类型，将尾部实体划分为多个实体组。换言之，实体层面注意的目的是区分相同关系条件下不同相邻实体对中心实体嵌入表征的影响。给定三元组(S，r，o)，实体级注意力的定义如下：

        为了学习实体和关系的联合嵌入，将实体s和关系r的注意力值组合形成邻域信息权重，定义如下：

        在三次注意力机制后，基于切线空间平均算法对头部实体的加权邻域特征进行聚合。更具体地说，将原始双曲嵌入向量映射到以原点O为中心的欧几里德切平面空间，然后通过指数映射将其带回双曲线空间。

        最终的嵌入是通过连接多个输出向量来获得的，将所有关系和实体的注意力向量 h_{s,r,o}聚合，通过指数映射将其重新映射回双曲空间，得到实体s的邻居信息表示如公式(29)：

当前的^s_H包含实体的邻域信息，而忽略了实体S的原始信息，因此需要将^s_H与原始的双曲线嵌入S进行积分

       然后，将实体和关系层次的注意机制相结合，对HS中的邻域信息进行聚合，得到双曲嵌入表示向量。

        之前的内容介绍了在双曲空间中通过注意力机制来聚合邻居信息，从而生成更丰富的实体嵌入表示。现在，这些嵌入表示被进一步处理，通过关系特定的过渡矩阵 M_r 映射到关系特定的空间，以便更好地捕捉复杂的关系模式。

即之前——

接下来——与TransR类似

2.2  解码器

评分函数：

损失函数：

正负样本表示：

θ 是指示三元组类别的变量，正样本为 1，负样本为 -1。

负样本获取：用数据集中的其他实体替换正确三元组中的头和尾实体。