pytorch实现attention_通过pytorch代码来深入理解图注意力网络GAT

图注意力网络GAT的理论部分可移步这里：向往的GAT（图注意力模型）

简单梳理其中的重点：（有简单改变）

对于顶点i，通过计算它与它的邻接节点（

）的注意力系数

有了注意力系数（未归一化），再只需softmax即可得到注意力权重，原文在softmax之前加了个LeakyReLU。

此外，论文参考了self-attention的多头注意力机制（multi-head attention），通过多个注意力头来增强节点表示。

OK，现在来到代码模式下才能更深刻地理解其原理。

图注意力层的简单实现，注释较为详细，如有问题可在评论区讨论。

class 

简单实验，可以得到更新后的节点表示

下面在图注意力层基础上加入multi-head机制

class 

简单实验，实现一个三分类功能

---------------------------------

完结-