GAT关键代码

最新推荐文章于 2024-09-13 20:44:17 发布

qq_45812502

最新推荐文章于 2024-09-13 20:44:17 发布

阅读量194

点赞数

分类专栏：图学习文章标签：深度学习 python 机器学习

本文链接：https://blog.csdn.net/qq_45812502/article/details/127521023

版权

博客详细介绍了GAT（Graph Attention Network）模型的实现，重点关注了attention层的实现，特别是如何通过_prepare_attentional_mechanism_input函数实现任意节点间的拼接。此外，还讨论了在GAT中如何将多头注意力的结果拼接处理。

摘要由CSDN通过智能技术生成

attention层的实现

重点是理解_prepare_attentional_mechanism_input函数的作用：就是实现了任意两个节点之间进行拼接。也就是对应原文中的这一部分公式：
在这里插入图片描述

class GraphAttentionLayer(nn.Module):
    """
    Simple GAT layer, similar to https://arxiv.org/abs/1710.10903
    """
    def __init__(self, in_features, out_features, dropout, alpha, concat=True):
        super(GraphAttentionLayer, self).__init__()
        self.dropout = dropout
        self.in_features = in_features
        self.out_features = out_features
        # 学习因子
        self.alpha = alpha
        self.concat = concat
        
        # 建立都是0的矩阵，大小为（输入维度，输出维度）
        self.W = nn.Parameter(torch.empty(size=(in_features, out_features)))
        # xavier初始化
        nn.init.xavier_uniform_(self.W.data, gain=1.414)
        # 这里的self.a,对应的是论文里的向量a，故其维度大小应该为(2*out_features, 1)
        self.a = nn.Parameter(torch.empty(size=(2*out_features, 1)))
        nn.init.xavier_uniform_(self.