Relation-aware Graph Attention Model With Adaptive Self-adversarial Training论文笔记

Relation-aware Graph Attention Model With Adaptive Self-adversarial Training

相关基础知识

什么是异构图？

传统的同构图（Homogeneous Graph）数据中只存在一种节点和边，而异构图（Heterogeneous Graph）中可以存在不只一种节点和边。

异构图的关系预测问题

对于两个包含多种属性的实体（entity），预测他们之间的关系类型（relation）。在异构图中，实体对应节点，关系对应两个节点之间的边，即预测两个节点之间边的类型（两个节点之间可以有多条边）。

Motivation

• 传统方法利用知识图谱嵌入（KGE）方法解决异构图的关系预测问题，或者虽然采用了GNN，但在信息传递时忽略了边的语义信息，学习到的特征表示不够理想，从而导致结果不够准确。
• 大部分图表示学习方法都可以统一在一个采样噪声对比估计框架中。随机负采样虽然简单有效，但由于大部分负样本很容易被区分出，所以有梯度消失的问题。许多基于GAN的采样方法可解决这个问题，其中的generator作为负样本采样器，识别出更加discriminative的关系，以供discriminator学习。然而，GAN的问题是需要更多的参数，并且难以训练。

Contribution

• 提出了RelGNN，一种用于异构图的基于信息传递的图注意力网络，通过加入边的语义信息，增强了图的表达能力。
• 提出了ASA，一种无参数的负采样方法，可以识别出难负样本，同时降低假负样本率。
• 在多个benchmark和工业数据集上的实验结果显示，在关系预测问题中，使用RelGNN和ASA采样比STOA方法效果更胜一筹。

Problem Definition

一个异构图可表示为$G=(V,E,A,R,\varphi )$
V = { v 1 , ⋯   , v n } V=\left\{v_1,\cdots,v_n\right\} V={ v1​,⋯,vn​}代表图中的节点集合
A = { a 1 , … , a k } A=\left\{a_1,\dots,a_k\right\} A={ a1​,…,ak​}代表节点的属性模式，每个节点$v_i$的节点类型为$\varphi (v_i)$,其关联的属性模式为$A_{\varphi (v_i)}$为$A$的一个子模式，即$A_{\varphi (v_i)}\in A$
E = { e 1 , … , e m } E=\left\{e_1,\dots,e_m\right\} E={ e1​,…,em​}为一个无向边集合，$R$为边的类型集合
每条边$e_k=(v_i,r_i,v_j)$表示$v_i$和$v_j$之间的关系，$r_i\in R$
此外，每对节点之间可以包含多个关系（多条边）

Method

GelGNN

如下图所示，GelGNN包含四个部分。

Attribute Embedding

首先将节点的各个属性各自编码成向量，最终拼接在一起，再经过一个全连接层得到该节点的属性embedding向量。

Message passing

通过self-attention机制将节点属性embedding和节点图embedding组合在一起得到最终的实体embedding。

对于节点$v_i$，定义其在图中的传播函数为：

$$h_{v_i}$$