文献阅读15期：Deep Learning on Graphs: A Survey - 4

[ 文献阅读·综述 ] Deep Learning on Graphs: A Survey [1]

推荐理由：图神经网络的survey paper，在很多的领域展现出了独特的作用力，分别通过GRAPH RNN（图循环网络）、GCN（图卷积）、GRAPH AUTOENCODERS（图自编码器）、GRAPH REINFORCEMENT LEARNING（图强化学习模型）、GRAPH ADVERSARIAL METHODS（图对抗模型）等五个类型的模型进行阐述，可以让大家对图神经网络有一个整体的认识。

4.3 提高与探讨

• 这节主要讨论其他的一些可以被应用到图深度学习上的方法。

4.3.1.注意力机制

• 在之前的方法中，大部分图图计算过程中，近邻节点的影响非常大，但这些节点影响的方式是实现制定好的，并非训练得来的。Graph attention network (GAT)引入了一种调整卷及操作的机制：
  $${\mathbf{h}}_i^{l+1}=\rho \left(\sum _{j\in \hat{\mathcal{N}}(i)}{\alpha }_{ij}^l{\mathbf{h}}_j^l{\Theta }^l\right)\text{\hspace{1em}(32)}$$
  其中，${\alpha }_{ij}^l$便是$l^{th}$层中指节点$v_i$对节点$v_j$的注意程度：
  $${\alpha }_{ij}^l=\frac{\exp \left(\text{ LeakyReLU }\left(\mathcal{F}\left({\mathbf{h}}_i^l{\Theta }^l,{\mathbf{h}}_j^l{\Theta }^l\right)\right)\right)}{{\sum }_{k\in \hat{\mathcal{N}}(i)}\exp \left(\text{ LeakyReLU }\left(\mathcal{F}\left({\mathbf{h}}_i^l{\Theta }^l,{\mathbf{h}}_k^l{\Theta }^l\right)\right)\right)}$$