图神经网络三大基础算法——GAT

最新推荐文章于 2024-09-11 16:31:05 发布

lwx_ppp

最新推荐文章于 2024-09-11 16:31:05 发布

阅读量156

点赞数

文章标签：神经网络算法人工智能

本文链接：https://blog.csdn.net/weixin_45636780/article/details/127749332

版权

文章介绍了GraphAttentionNetwork(GAT)模型，其通过注意力机制计算节点间关系权重，融合邻居节点特征。多头注意力机制强调节点间复杂相关性。对比GCN，GAT在处理邻接矩阵变化时更具优势，适用于图网络中节点标签预测任务。

摘要由CSDN通过智能技术生成

GAT

这个模型其实就是求取i节点周围节点的ATTENTION系数，我再通过这个ATTENTION系数对周围邻居节点进行一个在线求和，那么我就求得了节点聚合了周围节点的特征。
$\alpha_{ij}$ 是i节点和j节点的注意力机制权重系数；
$W$ 是关于 $\overrightarrow{h}_i$ 和 $\overrightarrow{h}_j$ 的可学习的参量；
①将这两个向量拼接在一起，再经过一个可学习的参数 $\overrightarrow{\alpha}^T$ ,就可以得到i节点和j节点的ATTENTION的值；
在这里插入图片描述

②再对它进行一个归一化的操作，类似Softmax；
③再用这个系数 $\alpha_{ij}$ ,聚合i节点周围的邻居节点 $\overrightarrow{h}_j$ ,乘以可学习的参数W，那这样就聚合了周围邻居节点的特征 $\overrightarrow{h}_i^’$ ，作为下一层节点的特征；
在这里插入图片描述
举个例子：

多头注意力机制：
多次使用ATTENTINO系数来计算节点的特征，能更加表达节点i和节点j之间的相关性；

三种颜色，代表了不同的ATTENTION系数；（类似于多通道，不同的通道提取的信息方式不同）在这里插入图片描述

cocat:将向量拼在一起；在这里插入图片描述如果是最后一层是直接连接softmax，则这种cocat方式是没有必要的，同个节点的三种表示使用，softmax不能很好的表示每一个类别是怎么样的，而是要计算平均值；如果最后一层是连接全连接层，那就无所谓了；
图网路的应用
有一些节点我们知道它的label，有一些节点我们不知道它的label，求未知节点的label；
加了一个新的节点x，我们可以推理出它所属的label；
先在老的图上面学习，给了一张新的图，我们要推理出来这张图中每个节点所属的类别；
为什么不能用GCN呢？
因为我们使用GCN的时候需要对邻接矩阵进行相乘，这个时候邻接矩阵变化了；
在这里插入图片描述