Pytorch之构建神经网络

最新推荐文章于 2024-09-27 20:28:15 发布

weixin_54096215

最新推荐文章于 2024-09-27 20:28:15 发布

阅读量235

点赞数

分类专栏： pytorch 文章标签： python

原文链接：https://pytorch.org/tutorials/beginner/basics/buildmodel_tutorial.html

版权

pytorch 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

在pytoch中使用torch.nn命名空间提供了你需要建立自己的神经网络的基石。在PyTorch每个模块的子类nn.Module。神经网络是一个模块本身，由其他模块（层）组成。

导入你所需要的模块

假设构建一个网络模型如下：

卷积层--》Relu层--》池化层--》全连接层--》Relu层--》全连接层
import os
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets, transforms

获取训练设备

我们希望能够在 GPU 等硬件加速器上训练我们的模型（如果可用）。让我们检查一下 torch.cuda是否可用，否则我们继续使用CPU。

device = 'cuda' if torch.cuda.is_available() else 'cpu'
print('Using {} device'.format(device))

参数初始化

在参数初始化完成之后，可以通过以下四个关键步骤来定义和训练神经网络：

前向传播
损失计算
反向传播
更新参数

定义类

首先，我们通过子类化定义我们的神经网络nn.Module，并先初始化神经网络层__init__。每个nn.Module子类都在forward方法中实现对输入数据的操作。

class NeuralNetwork(nn.Module):
    def __init__(self):
        super(NeuralNetwork, self).__init__()
        self.flatten = nn.Flatten()
        self.linear_relu_stack = nn.Sequential(
            nn.Linear(28*28, 512),
            nn.ReLU(),
            nn.Linear(512, 512),
            nn.ReLU(),
            nn.Linear(512, 10),
            nn.ReLU()
        )

    def forward(self, x):
        x = self.flatten(x)
        logits = self.linear_relu_stack(x)
        return logits

注意：

初始化nn.Flatten 层以将每个 2D 28x28 图像转换为 784 个像素值的连续数组（保持小批量维度（dim=0））torch.Size([3, 784])

nn.Sequential是一个有序的模块容器。数据按照定义的相同顺序通过所有模块。您可以使用顺序容器来组合一个快速网络。

线性层 nn.linear是使用其存储的权重和偏置所述输入施加线性变换的模块，torch.Size([3, 20])

非线性激活nn.relu是在模型的输入和输出之间创建复杂映射的原因

我们创建的实例NeuralNetwork，并将其移动到device，并打印其结构。

model = NeuralNetwork().to(device)
print(model)

在输入上调用模型会返回一个 10 维张量，其中包含每个类的原始预测值。我们通过将其传递给nn.Softmax模块的实例来获得预测概率。

X = torch.rand(1, 28, 28, device=device)
logits = model(X)
pred_probab = nn.Softmax(dim=1)(logits)
y_pred = pred_probab.argmax(1)
print(f"Predicted class: {y_pred}")

模型层

我们将取一个由 3 张大小为 28x28 的图像组成的小批量样本，看看当我们通过网络传递它时会发生什么。

input_image = torch.rand(3,28,28)
print(input_image.size())#torch.Size([3, 28, 28])

nn.Softmax

神经网络的最后一个线性层返回logits - [-infty, infty] 中的原始值 - 传递给 nn.Softmax模块。logits 被缩放到值 [0, 1]，代表模型对每个类的预测概率。dim参数指示值必须总和为 1 的维度。

flatten = nn.Flatten()
flat_image = flatten(input_image)
print(flat_image.size())#torch.Size([3, 784])

nn.线性层 :使用其存储的权重和偏置所述输入施加线性变换的模块

layer1 = nn.Linear(in_features=28*28, out_features=20)
hidden1 = layer1(flat_image)
print(hidden1.size())#torch.Size([3, 20])

nn.relu()

print(f"Before ReLU: {hidden1}\n\n")
hidden1 = nn.ReLU()(hidden1)
print(f"After ReLU: {hidden1}")

nn.顺序

nn.Sequential是一个有序的模块容器。数据按照定义的相同顺序通过所有模块。您可以使用顺序容器来组合一个快速网络，例如seq_modules.

seq_modules = nn.Sequential(
    flatten,
    layer1,
    nn.ReLU(),
    nn.Linear(20, 10)
)
input_image = torch.rand(3,28,28)
logits = seq_modules(input_image)

nn.Softmax

softmax = nn.Softmax(dim=1)
pred_probab = softmax(logits)

模型参数

神经网络内的许多层都是参数化的，即具有在训练期间优化的相关权重和偏差。子类化会nn.Module自动跟踪模型对象中定义的所有字段，并使所有参数都可以使用模型的parameters()或named_parameters()方法访问。

在这个例子中，我们迭代每个参数，并打印它的大小和它的值的预览。

print("Model structure: ", model, "\n\n")
for name, param in model.named_parameters():
    print(f"Layer: {name} | Size: {param.size()} | Values : {param[:2]} \n")

参考链接：python构建神经网络流程