图神经网络系列之消息传递

1.前言

相比较于神经网络最基本的网络结构全连接层（MLP），特征矩阵乘以权重矩阵，图神经网络多了一个邻接矩阵。计算形式很简单，三个矩阵相乘再加上一个非线性变换。

因此一个比较常见的图神经网络的应用模式如下图，输入是一个图，经过多层图卷积等各种操作以及激活函数，最终得到各个节点的表示，以便于进行节点分类、链接预测、图与子图的生成等等任务。

消息传递机制（属性向量优化的方法，又可理解为神经元间的连接方法）是目前GNN的主流研究方向，以下面这个无向图举例说明各类别网络的消息传递机制的不同

2.消息传递机制

1.RecGNN

$\left[\begin{array}{c}{h}_1^{{}^{\prime }}\\ h_2^{{}^{\prime }}\\ h_3^{{}^{\prime }}\\ h_4^{{}^{\prime }}\\ h_5^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{ccccc}0& 1& 1& 0& 1\\ 1& 0& 0& 1& 0\\ 1& 0& 0& 1& 0\\ 0& 1& 1& 0& 0\\ 1& 0& 0& 0& 0\end{array}\right]\ast \left[\begin{array}{c}{h}_1\\ h_2\\ h_3\\ h_4\\ h_5\end{array}\right]$
最原始的GNN是SUM求和传递机制, 可以看出$h_1^{{}^{\prime }}=h_2+h_3+h_5$

2.ConvGNNs

图卷积网络（GCN）就考虑到了节点的度，度越大，权重越小，使用了加权的SUM
$\left[\begin{array}{c}{h}_1^{{}^{\prime }}\\ h_2^{{}^{\prime }}\\ h_3^{{}^{\prime }}\\ h_4^{{}^{\prime }}\\ h_5^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{ccccc}0& \frac{1}{\sqrt{3}\sqrt{2}}& \frac{1}{\sqrt{3}\sqrt{2}}& 0& \frac{1}{\sqrt{3}\sqrt{1}}\\ ⋮& ⋮& ⋮& ⋮& ⋮\end{array}\right]\ast \left[\begin{array}{c}{h}_1\\ h_2\\ h_3\\ h_4\\ h_5\end{array}\right]$
可以看出，$h_1^{{}^{\prime }}=\frac{1}{\sqrt{3}\sqrt{2}}{h}_2+\frac{1}{\sqrt{3}\sqrt{2}}{h}_3+\frac{1}{\sqrt{3}\sqrt{1}}{h}_5$

3.GAT

再到后面发展为图注意力网络GAT，在消息传递过程中引入了注意力机制：