异构图神经网络（4）Graph Transformer Networks

Graph Transformer Networks这篇文章发表于NIPS 2019。

Motivation

最近关于异构图嵌入学习的方法都是设计meta-path，基于meta-path将异构图划分成多个同构图，然后再用传统的GNN处理同构图。这种two-stage的方法要求对于每个问题手动设计meta-paths，后续分析的准确性会因不同的meta-paths而受到影响。所以作者为了防止手动选择meta-paths不利于模型效果，提出了自动学习meta-paths的方法。

Preliminary

$G=(V,E)$
$f_v:V\to {\mathcal{T}}^v$，节点类别映射函数，${\mathcal{T}}^v$表示节点$v$的类别，同理有$f_e:E\to {\mathcal{T}}^e$。异构图可以由邻接矩阵集合表示： { A k } k = 1 K \{A_k\}_{k=1}^K {Ak​}k=1K​，其中$A_k\in R^{N\times N}$，$A\in R^{N\times N\times K}$。$K$等于边的类别数。

Model

GTN：产生新的图结构，并且基于学习到的图结构，学习节点的表示。

Meta-Path Generation

这个图可以被解释为：将邻接矩阵集合$A$与softmax处理后的非负参数$W_{\varphi }^i$ 进行1×1 conv，得到$Q_i$，$Q_i$连乘，得到$A^{(1)}$。

具体操作：
$$Q=F(A;W_{\Phi })=\Phi (A;softmax(W_{\Phi }))$$这里的$W_{\Phi }$表示卷积层$\Phi$的参数，$\Phi$是1×1的卷积，$W_{\Phi }\in R^{1\times 1\times K}$。这样学习到两个邻接矩阵$Q_1$、$Q_2$，这两个矩阵相乘$Q_1{Q}_2$可以认为是一个meta-path邻接矩阵。如果是长度为$l$的meta-path，那么可以用$Q_1{Q}_2\dots Q_l$表示。

由于$Q_i$是由$A$进行1×1卷积得到的，可以看成是个全连接的操作，对于${\mathcal{T}}^e$的各个邻接矩阵做全连接映射即可得到$Q_i$，即省略中间的$Q$的表示，$$A_P=\left(\sum _{t_1\in {\mathcal{T}}^e}{\alpha }_{t_1}^{(1)}{A}_{t_1}\right)\left(\sum _{t_2\in {\mathcal{T}}^e}{\alpha }_{t_2}^{(2)}{A}_{t_2}\right)\dots \left(\sum _{t_l\in {\mathcal{T}}^e}{\alpha }_{t_l}^{(l)}{A}_{t_l}\right)$$这样得到的$A_P$是$l$层GT的结果，$A_P$表示长度为$l$的meta-path邻接矩阵。

注：为什么$Q_i$可以用${\sum }_{t_i\in {\mathcal{T}}^e}{\alpha }_{t_i}^{(i)}{A}_{t_i}$表示？
可以联想一下1×1卷积操作，这篇文章讲的很好，我觉得这篇论文中的1×1卷积大概可以类比$W_{\Phi }\in R^{1\times 1\times K\times 1}$，也就是将K维度的输入，映射到1维度的输出，也就得到了$Q_i$，如何映射呢？只需要一个卷积核，这个卷积核有K个参数，与输入加权累加，即可得到输出，所以可以用${\sum }_{t_i\in {\mathcal{T}}^e}{\alpha }_{t_i}^{(i)}{A}_{t_i}$表示。如果${\alpha }_{t_i}^{(i)}$是one-hot向量，那么相当于从邻接矩阵集合$A$中选择一个邻接矩阵作为$Q_i$。

另外，作者还提到，在邻接矩阵集合$A$中添加一个单位向量，这样做的目的是：由于这种生成$A^l$矩阵（生成长度为$l$的meta-path）的方法，是在原始边的基础上进行学习，最少也是两个矩阵$Q_1{Q}_2$相乘，这样计算就不包含原始边$Q_1$和$Q_2$本身了，而加上单位矩阵后，可以得到短meta-path $Q_1$和$Q_2$。

Graph Transformer Networks

为了同时考虑多种meta-paths，1×1卷积的输出层数不再是1，而是C，这样最终得到的$A^l$的维度将是$R^{N\times N\times C}$，表示C种长度为$l$的meta-path的邻接矩阵，最终对该邻接矩阵进行谱域图卷积操作，再在meta-paths种类维度进行concatenation操作，得到整个图的所有节点表示。$$Z={||}_{i=1}^C\sigma \left({\tilde{D}}_i^{-1}{\tilde{A}}_i^{(l)}XW\right)$$

疑问：这样选取的元路径长度不都是固定的么？如何生成多种长度的元路径呢？