Pytorch基础-03-模型搭建和参数优化

最新推荐文章于 2023-07-11 20:52:17 发布
最新推荐文章于 2023-07-11 20:52:17 发布
阅读量424 收藏 1
点赞数
分类专栏： Pytorch基础 文章标签： torch.nn torch.optim
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Galen_xia/article/details/108748730
版权

如何基于PyTorch深度学习框架用简单快捷的方式搭建出复杂的神经网络模型，同时让模型参数的优化方法趋于高效。如同使用PyTorch中的自动梯度方法一样，在搭建复杂的神经网络模型的时候，我们也可以使用PyTorch中已定义的类和方法，这些类和方法覆盖了神经网络中的线性变换、激活函数、卷积层、全连接层、池化层等常用神经网络结构的实现。在完成模型的搭建之后，我们还可以使用PyTorch提供的类型丰富的优化函数来完成对模型参数的优化，除此之外，还有很多防止模型在模型训练过程中发生过拟合的类。

  • 1. torch.nn

PyTorch中的 torch.nn包提供了很多与实现神经网络中的具体功能相关的类，这些类涵盖了深度神经网络模型在搭建和参数优化过程中的常用内容，比如神经网络中的卷积层、池化层、全连接层这类层次构造的方法、防止过拟合的参数归一化方法、Dropout 方法，还有激活函数部分的线性激活函数、非线性激活函数相关的方法，等等。在学会使用PyTorch的 torch.nn进行神经网络模型的搭建和参数优化后，我们就会发，现实现一个神经网络应用并没有我们想象中那么难。

（1）torch.nn.Sequential：torch.nn.Sequential类是torch.nn中的一种序列容器，通过在容器中嵌套各种实现神经网络中具体功能相关的类， 来完成对神经网络模型的搭建，最主要的是，参数会按照我们定义好的 序列自动传递下去。我们可以将嵌套在容器中的各个部分看作各种不同 的模块，这些模块可以自由组合。模块的加入一般有两种方式，一种是 在以上代码中使用的直接嵌套，另一种是以orderdict有序字典的方式进 行传入，这两种方式的唯一区别是，使用后者搭建的模型的每个模块都 有我们自定义的名字，而前者默认使用从零开始的数字序列作为每个模 块的名字。下面通过示例来直观地看一下使用这两种方式搭建的模型之间的区别.

首先，使用直接嵌套搭建的模型代码如下：

import torch

hidden_layer = 100
input_data = 1000
output_data = 10

models = torch.nn.Sequential(
    torch.nn.Linear(input_data,hidden_layer),
    torch.nn.ReLU(),
    torch.nn.Linear(hidden_layer,output_data)
)

print (models)

Sequential(
(0): Linear(in_features=1000, out_features=100, bias=True)
(1): ReLU()
(2): Linear(in_features=100, out_features=10, bias=True)
)

使用orderdict有序字典进行传入来搭建的模型代码如下：

import torch
from collections import OrderedDict

hidden_layer = 100
input_data = 1000
output_data = 10

models = torch.nn.Sequential(OrderedDict([
    ('Line1',torch.nn.Linear(input_data,hidden_layer)),
    ('relu1',torch.nn.ReLU()),
    ('Line2',torch.nn.Linear(hidden_layer,output_data))
]))

print (models)

Sequential(
(Line1): Linear(in_features=1000, out_features=100, bias=True)
(relu1): ReLU()
(Line2): Linear(in_features=100, out_features=10, bias=True)
)

（2）torch.nn.Linear：torch.nn.Linear类用于定义模型的线性层， 即完成前面提到的不同的层之间的线性变换。torch.nn.Linear类接收的参 数有三个，分别是输入特征数、输出特征数和是否使用偏置，设置是否 使用偏置的参数是一个布尔值，默认为True，即使用偏置。在实际使用 的过程中，我们只需将输入的特征数和输出的特征数传递给 torch.nn.Linear类，就会自动生成对应维度的权重参数和偏置，对于生成 的权重参数和偏置，我们的模型默认使用了一种比之前的简单随机方式 更好的参数初始化方法。
（3）torch.nn.ReLU：torch.nn.ReLU类属于非线性激活分类，在定 义时默认不需要传入参数。当然，在 torch.nn包中还有许多非线性激活 函数类可供选择，比如之前讲到的PReLU、LeakyReLU、Tanh、 Sigmoid、Softmax等。

在掌握torch.nn.Sequential、torch.nn.Linear和torch.nn.RelU的使用方法后，快速搭建更复杂的多层神经网络模型变为可能，而且在整个模型 的搭建过程中不需要对在模型中使用到的权重参数和偏置进行任何定义 和初始化说明，因为参数已经完成了自动生成。

下面简单介绍在torch.nn包中常用的损失函数的具体用法，如下所述。
（1）torch.nn.MSELoss：torch.nn.MSELoss类使用均方误差函数对损失值进行计算，在定义类的对象时不用传入任何参数，但在使用实例时需要输入两个维度一样的参数方可进行计算。示例如下：

loss_fn = torch.nn.MSELoss()
loss = loss_fn(torch.rand(1),torch.rand(1))
print (loss.data)

tensor(0.5333)

（2）torch.nn.L1Loss：torch.nn.L1Loss类使用平均绝对误差函数对损失值进行计算，同样，在定义类的对象时不用传入任何参数，但在使用实例时需要输入两个维度一样的参数进行计算。示例如下：

loss_fn = torch.nn.L1Loss()
loss = loss_fn(torch.rand(1),torch.rand(1))
print (loss.data)

tensor(0.0366)

（3）torch.nn.CrossEntropyLoss：torch.nn.CrossEntropyLoss类用 于计算交叉熵，在定义类的对象时不用传入任何参数，在使用实例时需 要输入两个满足交叉熵的计算条件的参数，代码如下：

loss_fn = torch.nn.CrossEntropyLoss()
x = Variable(torch.randn(3,5))
print (x)
y = Variable(torch.LongTensor(3).random_(5))
print (y)
loss = loss_fn(x,y)
print (loss.data)

这里生成的第1组参数是一个随机参数，维度为（3,5）；第2组参 数是3个范围为0～4的随机数字。计算这两组参数的损失值，打印输出 的结果如下：

tensor([[-0.7255, 0.1866, -2.6075, -1.2567, -0.3385],
[ 1.1799, 0.5256, 1.0063, 1.0577, 0.9446],
[-0.1277, -1.4513, 0.0989, -1.6757, -0.9638]])
tensor([1, 3, 4])
tensor(1.4450)

下面使用PyTorch的torch.nn包来简化我们之前的代码，如下所示：

import torch
from torch.autograd import Variable

batch_n = 100
hidden_layer = 100
input_data = 1000
output_data = 10

x = Variable(torch.randn(batch_n,input_data),requires_grad = False)
y = Variable(torch.randn(batch_n,output_data),requires_grad = False)

models = torch.nn.Sequential(
    torch.nn.Linear(input_data,hidden_layer),
    torch.nn.ReLU(),
    torch.nn.Linear(hidden_layer,output_data)
)

epoch_n = 10000
learning_rate = 1e-4
loss_fn1 = torch.nn.MSELoss()

for epoch in range(epoch_n):
    y_pred = models(x)
    loss = loss_fn1(y_pred, y)
    if (epoch + 1) % 1000 == 0:
        print('Epoch:{},Loss:{}'.format(epoch + 1, loss.data))
    models.zero_grad()

    loss.backward()

    for param in models.parameters():
        param.data -= param.grad.data * learning_rate

以上代码中的绝大部分和之前训练和优化部分的代码是一样的，但是参数梯度更新的方式发生了改变。因为使用了不同的模型搭建方法，所以访问模型中的全部参数是通过对“models.parameters()”进行遍历完成的，然后才对每个遍历的参数进行梯度更新。其打印输入结果的方式是每完成1000次训练，就打印输出当前的loss值，最后输出的结果如下：

Epoch:1000,Loss:0.9827698469161987
Epoch:2000,Loss:0.9132287502288818
Epoch:3000,Loss:0.8532592058181763
Epoch:4000,Loss:0.7999617457389832
Epoch:5000,Loss:0.7520259618759155
Epoch:6000,Loss:0.7082270979881287
Epoch:7000,Loss:0.6677832007408142
Epoch:8000,Loss:0.6301513314247131
Epoch:9000,Loss:0.5949526429176331
Epoch:10000,Loss:0.5619678497314453

  • 2. torch.optim

在PyTorch的torch.optim包中提供了非常多的 可实现参数自动优化的类，比如SGD、AdaGrad、RMSProp、Adam等， 这些类都可以被直接调用，使用起来也非常方便。我们使用自动化的优 化函数实现方法对之前的代码进行替换，新的代码如下：

import torch
from torch.autograd import Variable

batch_n = 100
hidden_layer = 100
input_data = 1000
output_data = 10

x = Variable(torch.randn(batch_n, input_data), requires_grad=False)
y = Variable(torch.randn(batch_n, output_data), requires_grad=False)

models = torch.nn.Sequential(
    torch.nn.Linear(input_data, hidden_layer),
    torch.nn.ReLU(),
    torch.nn.Linear(hidden_layer, output_data)
)

epoch_n = 20
learning_rate = 1e-4
loss_fn1 = torch.nn.MSELoss()

optimzer = torch.optim.Adam(models.parameters(), lr=learning_rate)

for epoch in range(epoch_n):
    y_pred = models(x)
    loss = loss_fn1(y_pred, y)
    print('Epoch:{},Loss:{}'.format(epoch + 1, loss.data))
    optimzer.zero_grad()

    loss.backward()
    optimzer.step()

在以上代码中有几处代码和之前的训练代码不同，这是因为我们引入了优化算法，所以通过直接调用optimzer.zero_grad来完成对模型参数梯度的归零；并且在以上代码中增加了optimzer.step，它的主要功能是使用计算得到的梯度值对各个节点的参数进行梯度更新。这里只进行20次训练并打印每轮训练的loss值，结果如下:

Epoch:1,Loss:1.1183404922485352
Epoch:2,Loss:1.0961917638778687
Epoch:3,Loss:1.0746650695800781
Epoch:4,Loss:1.0536885261535645
Epoch:5,Loss:1.033348560333252
Epoch:6,Loss:1.0135233402252197
Epoch:7,Loss:0.9941656589508057
Epoch:8,Loss:0.9753313660621643
Epoch:9,Loss:0.9568551778793335
Epoch:10,Loss:0.9388622641563416
Epoch:11,Loss:0.921436607837677
Epoch:12,Loss:0.9045109748840332
Epoch:13,Loss:0.8878739476203918
Epoch:14,Loss:0.8715552687644958
Epoch:15,Loss:0.8556023836135864
Epoch:16,Loss:0.8400096893310547
Epoch:17,Loss:0.8247792720794678
Epoch:18,Loss:0.8098956346511841
Epoch:19,Loss:0.795305609703064
Epoch:20,Loss:0.7809619307518005

使用torch.optim.Adam类进 行参数优化后仅仅进行了20次训练，得到的loss值就已经远远低于之前进行10=5000次优化训练的结果。所以，如果对torch.optim中的优化算法类使用得当，就更能帮助我们优化好模型中的参数。

骚火棍
关注
专栏目录
talos：TensorFlow，Keras和PyTorch的超参数优化
02-05
Keras的超参数优化 •••••••• Talos通过完全自动化的超参数调整和模型评估，从根本上改变了普通的Keras工作流程。 Talos完全公开了Keras功能，没有新的语法或模板可学习。 塔罗斯 TL; DR Talos可以从根本上改变普通的Keras工作流程，而不会占用任何Keras。 与任何Keras模型一起使用 花费几分钟来实施 无需学习新语法 为您的工作流程增加零新开销 Talos专为希望完全控制其Keras模型的数据科学家和数据工程师而设计，但他们厌倦了无意识的参数跳跃和令人困惑的优化解决方案，这些解决方案增加了复杂性而不是降低了复杂性。 几分钟之内，Talos无需学
【pytorch实战3】模型搭建和参数优化
m0_37935211的博客
05-16 735
参考资料： 《深度学习之pytorch实战计算机视觉》 Pytorch官方教程 Pytorch中文文档 一个典型的神经网络训练过程如下： 定义神经网络 在训练数据集上面迭代，输入数据到神经网络 前向传播计算loss 反向传播计算梯度 参数更新。 下面来看如何基于pytorch深度学习框架用简单快捷的方式搭建出复杂的神经网络模型，同时让模型参数的优化方式趋于高效。 一、模...
pytorch教程(1.6)——优化模型参数
leetteel
09-14 820
摘要 现在我们有了模型和数据，是时候通过优化数据参数来训练、验证和测试我们的模型了。 训练模型是一个迭代过程； 在每次迭代（称为 epoch）中，模型对输出进行猜测，计算其猜测中的误差（损失），收集误差对其参数的导数（如我们在上一节中看到的），并优化 这些参数使用梯度下降。 先决条件代码 我们从前面关于 Datasets & DataLoaders 和 Build Model 的部分加载代码。 import torch from torch import nn from torch.utils.da
pytorch参数优化
爱听许嵩歌的博客
07-15 1146
随机梯度下降
【PyTorch】偏置项 bias 与 Batch-Normalize
Esperanto.的博客
08-06 1452
偏置项与Batch-Normalize的关系
faster-rcnn-pytorch:python pytorch faster-rcnn 目标检测 简单 零基础
05-23
`faster-rcnn-pytorch-master`中的代码应包含了模型预测和可视化结果的示例，这对于验证模型性能和理解其工作原理十分有用。 总的来说，"faster-rcnn-pytorch"项目为初学者提供了一条学习Faster R-CNN目标检测的...
pytorch and-cifar10
最新发布
03-12
3. torch.nn模块：提供了一系列预定义的层和损失函数，如卷积层、全连接层、激活函数等，方便快速搭建神经网络模型。 二、CIFAR-10数据集 1. 数据集介绍：CIFAR-10包含60,000张32x32像素的RGB图像，分为训练集和...
VGG-PyTorch-master_vgg16模型_VGG16pytorch_vgg16pytorchcode_
10-01
9. **训练与优化**：使用损失函数（如交叉熵损失）衡量模型预测与真实标签之间的差距，通过优化器（如SGD或Adam）更新模型参数。 10. **评估与验证**：在验证集上评估模型性能，通常用准确率、Top-1错误率和Top-5...
基于Pytorch框架的CNN-LSTM模型在CWRU轴承故障诊断的应用
02-05
模型训练部分会定义损失函数（如交叉熵）和优化器（如Adam），并设置训练的迭代次数和批次大小。验证和测试则用于评估模型的性能，通常会用到准确率、精确率、召回率等指标。 CWRU轴承数据集包含多个不同状态下的...
【学习笔记】Pytorch基础-搭建简易神经网络
weixin_45131923的博客
12-20 696
Pytorch中的Tensor 1.1数据类型定义方式： （1）torch.FloatTensor:用于生成浮点型Tensor，传递给torch.FloatTensor的参数可以是一个列表，也可以是一个维度值。（2）torch.IntTensor: 用于生成整型的Tensor（3）torch.rand：用于生成浮点型且维度指定的随机Tensor，满足0-1的均匀分布（4）torch.randn：满足均值0方差1的正态分布（5）torch.range：生成浮点型且自定义起始范围和结束范围的Tensor，需要.
Pytorch基本使用—参数初始化
weixin_51691064的博客
07-11 3507
在深度学习中，零初始化（Zero Initialization）：将所有权重和偏置初始化为0。然而，这种方法会导致所有神经元具有相同的输出，无法破坏对称性，因此不常用。随机初始化（Random Initialization）：将权重和偏置随机初始化为较小的随机值。这种方法可以打破对称性，但并不能保证初始化的权重和偏置能够适应网络的输入和输出分布。Xavier初始化（Xavier Initialization）：根据每一层的输入维度和输出维度的大小来进行初始化。
Pytorch笔记：根据参数动态构造模型结构
xieocean的博客
12-28 298
在做实验时，经常要比较相似模型的不同结构对性能的影响。通过传递参数的方法可以很方便地构造出不同的模型结构，从而快速完成模型搭建的工作。
Python collections.OrderedDict解决dict元素顺序问题
weixin_34407348的博客
08-17 367
编程中遇到个问题，python json.loads时元素顺序可能会发生变化。 这个对于一些需要使用元素顺序来做一些策略的代码来说是致命的。 在网上查了查，结合自己的知识总结一下。 使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。 如果要保持Key的顺序，可以用OrderedDict。 OrderedDict的Key会按照插入的顺序排列，不是Key本身...
【python】详解collections模块中OrderedDict的使用
brucewong0516的博客
11-12 2万+
很多人认为python中的字典是无序的，因为它是按照hash来存储的，但是python中有个模块collections(英文，收集、集合)，里面自带了一个子类OrderedDict，实现了对字典对象中元素的排序。 import collections print("Regular dictionary") d={} d['a']='A' d['b']='B' d['c']='C' d['1'] =...
Pytorch 如何 优化/调整 模型参数
xiaoxifei的专栏
04-30 9955
Pytorch 如何自动优化/调整 模型超参 文章目录Pytorch 如何自动优化/调整 模型超参背景优化模型参数贝叶斯优化深度学习框架下的参数优化平台安装使用参考参考 背景 对于优化模型性能表现而言，主要可归纳为两种方式： 采用NAS的方式搜索，获得某个任务上最优的模型结构以及模型参数设置 优化模型参数 诚然，对于第一种方式来说，NAS对算力的消耗是巨大的，因而需要具备巨量计算资源才能够进行...
PyTorch随笔 - 优化模型参数 Model Parameters
Mystra
07-06 759
参考：OPTIMIZING MODEL PARAMETERS梯度反向传播算法，更新参数SGD -> Adamdataset -> dataloader，train_dataloader训练，test_dataloader测试，迭代器模型继承Module类，，定义层，Flatten()展平，和Sequential()，有序的容器forward()函数，前向的计算，logits输出类别数，10个类别Hyperparameters，超参数，不参与优化，影响模型的效果Loss Function，损失函数、目标函数，
Pytorch内存优化方法，显著提升模型训练batch_size，减少out of Memory错误发生
Pinkgranite86的博客
04-03 5190
目录1.可能的条件下，尽量使用in_place实现2.Pytorch的 ‘checkpoint’3.删除loss等不再被需要的值，释放对应的空间4. 混合精度训练 参考资料： 知乎讨论； pytorch论坛； 官方文档； 1.可能的条件下，尽量使用in_place实现 使用in_place操作使得Pytorch的allocator不会记录该部分的原tensor，从而减少显存的消耗。也正是因为如此，如果在网络反向计算梯度的过程中需要用到原tensor，那么就不能够使用in_place操作，否则会使得反向传播报
学习笔记2：Pytorch 神经网络初始化权重与偏置
ZhiXiangPiao的博客
01-20 2487
学习笔记2：Pytorch 神经网络初始化权重与偏置** class CONCAT_CNN(nn.Module): def __init__(self): super(CONCAT_CNN, self).__init__() self.conv1_1 = nn.Conv2d(1, 64, kernel_size=3, stride=1, padding=1) def forward(self, x): conv1_1 = F.relu
pytorch 减小显存消耗，优化显存使用，避免out of memory
热门推荐
小小码农的博客
06-14 10万+
本文是整理了大神的两篇博客：如何计算模型以及中间变量的显存占用大小：https://oldpan.me/archives/how-to-calculate-gpu-memory如何在Pytorch中精细化利用显存：https://oldpan.me/archives/how-to-use-memory-pytorch还有知乎中大神的解答：https://zhuanlan.zhihu.com/p/3...
PyTorch与PyTorch-Lightning构建ANN和CNN模型教程
资源包中包含实验报告、源代码以及数据集，并详细描述了如何使用PyTorch-Lightning搭建训练框架，以及如何通过自定义的MnistDataLoader和pl.Trainer()进行模型训练和参数配置。" 知识点详细说明: 1. PyTorch框架...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值