GCN的搭建

Dream Algorithm

已于 2024-06-10 16:43:45 修改

阅读量639

点赞数 1

文章标签： pytorch 神经网络深度学习

于 2023-03-20 14:39:10 首次发布

本文链接：https://blog.csdn.net/A2321161581/article/details/129664751

版权

文章介绍了图卷积网络（GCN）如何通过聚合当前节点和一阶邻居节点的特征来表征节点的新特征，强调了邻接矩阵在这一过程中的作用。GCN利用调整过的邻接矩阵结合单位矩阵进行归一化，形成节点的特征集成权重。文中还给出了一个简单的GCN层的PyTorch实现，并指出GCN在处理节点特征时，可能会因节点度数差异导致的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

将当前节点特征和一阶节点特征进行聚合来表征当前节点的新特征，通过这种方式有利于引入图节点的上下文信息，使得每个节点预测结果受邻居节点的影响，那么具体怎么集成呢？由于邻接矩阵可以表示节点之间的连接关系，我们可以在邻接矩阵上稍作调整，添加单位矩阵来结合节点自身的连接，并进行归一化，每一行表示一个节点与其他节点的连接权重大小，并作为当前节点的特征集成权重。

我们也可以将调整后的邻接矩阵看成是一种掩码（MASK），每一行权重为0的位置表示其对当前节点的聚合特征没有影响，由于这种权重本身由图的连接情况决定，是【固定的】和【不可学习的】，这种基于【整个图】结构的特征聚合网络就是GCN，属于转导学习。

通过将当前节点的特征向量与其一阶节点的特征向量【加和平均】的方式进行聚合来表征当前节点的上下文表征向量，这种方法只考虑了当前节点的连接情况，没有考虑其一阶节点的连接情况，容易造成节点的度越大，参与的节点特征聚合次数越多，而这种度越大的节点本身特殊性应该越弱，影响应该进行削弱。具体实现：

这个公式中：

$\text{[math]}$ ，I是单位矩阵

$\text{[math]}$ 是 $\text{[math]}$ 的度矩阵（degree matrix）

X是每一层的特征

W神经网络模型权重参数

σ是非线性激活函数

代码如下：


class GraphConvolution(nn.Module):
    def __init__(self, input_dim, output_dim, use_bias=True):
        """图卷积：L*X*\theta
        Args:
        ----------
            input_dim: int
                节点输入特征的维度
            output_dim: int
                输出特征维度
            use_bias : bool, optional
                是否使用偏置
        """
        super(GraphConvolution, self).__init__()
        self.input_dim = input_dim
        self.output_dim = output_dim
        self.use_bias = use_bias
        self.weight = nn.Parameter(torch.Tensor(input_dim, output_dim))
        if self.use_bias:
            self.bias = nn.Parameter(torch.Tensor(output_dim))
        else:
            self.register_parameter('bias', None)
        self.reset_parameters()

    def reset_parameters(self):
        init.kaiming_uniform_(self.weight)
        if self.use_bias:
            init.zeros_(self.bias)

    def forward(self, adjacency, input_feature):
        """邻接矩阵是稀疏矩阵，因此在计算时使用稀疏矩阵乘法
        Args: 
        -------
            adjacency: torch.sparse.FloatTensor
                邻接矩阵
            input_feature: torch.Tensor
                输入特征
        """
        support = torch.mm(input_feature, self.weight)
        output = torch.sparse.mm(adjacency, support)
        if self.use_bias:
            output += self.bias
        return output

    def __repr__(self):
        return self.__class__.__name__ + ' ('             + str(self.input_dim) + ' -> '             + str(self.output_dim) + ')'


# 模型定义
# 读者可以自己对GCN模型结构进行修改和实验
class GcnNet(nn.Module):
    """
    定义一个包含两层GraphConvolution的模型
    """
    def __init__(self, input_dim=1433):
        super(GcnNet, self).__init__()
        self.gcn1 = GraphConvolution(input_dim, 16)
        self.gcn2 = GraphConvolution(16, 7)
 
    def forward(self, adjacency, feature):
        h = F.relu(self.gcn1(adjacency, feature))
        logits = self.gcn2(adjacency, h)
        return logits