异构图注意力网络Heterogeneous Graph Attention Network ( HAN )

---

前言

异构图注意力网络Heterogeneous Graph Attention Network ( HAN )学习笔记。

---

一、基础知识

1.异构图（Heterogeneous Graph）

同构图是指结点类型相同、边类型也相同的图。异构图则是边和结点类型总和大于2的图，如下所示。

2.元路径

3.异构图注意力网络

中心思想：通过元路径生成不同元路径下的同构子图，在不同子图中进行消息传递聚合信息( Node-Level Attention )，最后将各元路径下子图聚合出的向量注意力加权聚合后进行后道传播( Sematic-Level Attention )。

为更清晰的解释原理，以下将逐步拆解。
（1）第一步

异构图如图片左边所示。根据M-A-M和M-D-M两种元路径，将有“介质”A或D连接的M之间视为通路（一阶邻居），可以拆解异构图为图片右边所示的子图。

二、异构图注意力网络

1.结点级别注意力（Node-level Attention）

图取自论文原文

1. 节点注意力的计算。
   $${\mathbf{h}}_i^{\prime }={\mathbf{M}}_{{\varphi }_i}\cdot {\mathbf{h}}_i$$

• $i$为第i个主结点。
• $j$为第j个邻居结点。
• $M_{{\Phi }_i}$ 是模型需要训练的线性变化矩阵。 $M_{{\Phi }_i}$ 主要作用是提高拟合能力。
• ${\mathbf{h}}_i$为结点的特征向量。
  $${\alpha }_{ij}^{\Phi }={\mathrm{softmax}}_j\left(e_{ij}^{\Phi }\right)={\sum }_{k\in {\mathcal{N}}_i^{\Phi }}\exp (\sigma ({\mathbf{a}}_{<}$$