Pytorch模型(3)——图卷积网络

概述

一种用在图结构数据上的网络结构

图卷积与卷积的思想类似,卷积网络通过卷积核计算对应点的像素及周边点的像素的加权和;而图卷积是通过邻接矩阵计算对应节点的向量与周边节点的向量的加权和。

在这里插入图片描述

要计算节点A的Embedding,我们有以下的两条想法:

节点A的Embedding,是它的邻接节点B、C、D的Embedding传播的结果
而节点B、C、D的Embedding,又是由它们各自的邻接节点的Embedding传播的结果。

在构造两层的前提下
在这里插入图片描述

  • Layer-0

第0层即输入层,为每个节点的初始向量(根据所处领域里特征数据进行构建),不妨称为初始Embedding。

  • Layer-1

节点B的Embedding来自它的邻接点A、C的Embedding的传播。

节点C的Embedding来自它的邻接点A、B、C、D的Embedding的传播。

节点D的Embedding来自它的邻接点A的Embedding的传播。

  • Layer-2

节点A的Embedding来自它的邻接点B、C、D的Embedding的传播。



图相关矩阵的定义

  • 邻接矩阵A
  • 度矩阵D
  • 拉普拉斯矩阵L
    在这里插入图片描述


图卷积的通式

H l + 1 = f ( H l , A ) H^{l+1}=f(H^l, A) Hl+1=f(Hl,A)
这里 H 0 = X H^0 = X H0=X为初始图的节点矩阵, X ∈ R N × D X \in R^{N \times D} XRN×D,其中N为图中的节点个数,D为每个节点特征向量的维度,A为邻接矩阵,不同的通式实现的不同在于函数 f f f的实现不同

实现一

H l + 1 = σ ( A H l W l ) H^{l+1}=\sigma (AH^lW^l) Hl+1=σ(AHlWl)
W l W^l

### 常见的 PyTorch 卷积神经网络模型设计与实现 在 PyTorch 中构建卷积神经网络(CNN),通常会涉及多个核心组件的设计与组合,这些组件包括但不限于 `nn.Module` 的使用、卷积层、池化层、激活函数以及全连接层等[^1]。 #### 1. **基本骨架——`nn.Module`** PyTorch 提供了一个灵活的基础类 `nn.Module` 来定义自定义神经网络架构。通过继承该类并重写其方法(如 `__init__` 和 `forward` 方法),可以轻松创建复杂的 CNN 模型。例如: ```python import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() # 定义卷积层和其他模块 self.conv_layers = nn.Sequential( nn.Conv2d(1, 32, kernel_size=5, stride=1), # 输入通道数为1,输出通道数为32 nn.ReLU(), nn.MaxPool2d(kernel_size=2), nn.Conv2d(32, 64, kernel_size=3, stride=1), # 输出通道数变为64 nn.ReLU(), nn.MaxPool2d(kernel_size=2) ) self.fc_layer = nn.Linear(64 * 5 * 5, 10) # 全连接层 def forward(self, x): out = self.conv_layers(x) out = out.view(out.size(0), -1) # 展平处理 out = self.fc_layer(out) return out ``` 上述代码展示了如何利用 `nn.Module` 构建一个简单的两层卷积神经网络,并结合 ReLU 非线性激活函数和最大池化操作来提取特征[^2]。 --- #### 2. **卷积层与池化层的作用** 卷积层的核心功能是对输入数据应用一系列可学习的滤波器(即卷积核)以检测局部模式;而池化层则用于降低空间维度,减少计算量的同时保留重要信息。两者共同构成了 CNN 的主要隐藏层结构[^2]。 具体来说,在设计卷积层时需要注意以下几个参数的选择: - **卷积核数量**:初始阶段建议从小规模开始(如 32 或者更少),随着层数加深逐步增大。 - **卷积核尺寸**:对于灰度图片或者简单场景下的特征提取,可以选择较大的窗口(比如 \(5 \times 5\)),后续再逐渐缩小至 \(3 \times 3\)[^3]。 - **步幅(stride)**:默认情况下设为 1 是较为常见的做法。 - **零填充(padding)**:可以通过调整 padding 参数保持原始分辨率不变或控制最终输出形状。 --- #### 3. **非线性激活函数的应用** 为了增强模型表达能力,引入非线性变换至关重要。ReLU 函数作为最广泛使用的激活函数之一,因其高效性和易于优化的特点被普遍采用。它能够有效缓解梯度消失问题,促进深层网络的学习过程[^4]。 以下是 ReLU 在实际中的调用方式: ```python activation_function = nn.ReLU() output = activation_function(input_tensor) ``` 除此之外,还有其他类型的激活函数可供选择,例如 Sigmoid、Tanh 等,但在现代深度学习实践中,ReLU 及其变体往往表现更好。 --- #### 4. **全连接层的功能描述** 经过若干次卷积与池化的预处理之后,得到的是低维向量形式的数据表示。此时需借助全连接层完成分类或其他特定任务目标。假设最后一轮卷积后的张量大小为 \(C \times H \times W\) ,那么展平后送入 FC Layer 进行映射即可得出预测结果。 示例代码片段如下所示: ```python flattened_input = input_tensor.view(batch_size, -1) fc_output = fully_connected(flattened_input) ``` 其中 `-1` 表达自动推导剩余维度长度的意思。 --- ### 总结 综上所述,基于 PyTorch 实现标准 CNN 主要围绕着几个关键要素展开讨论,分别是基础框架搭建(`nn.Module`)、逐级深入挖掘图像内部规律(卷积+池化),最后经由密集关联节点做出决策判断(全连接层)。整个流程环环相扣缺一不可。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值