Pytorch 常用操作Tricks

最新推荐文章于 2022-06-15 15:47:19 发布
最新推荐文章于 2022-06-15 15:47:19 发布
阅读量208 收藏
点赞数
分类专栏： 深度学习框架 文章标签： pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43145427/article/details/125055607
版权
目录：

1 指定GPU编号

2 查看模型每层输出详情

3 梯度裁剪

4 扩展单张图片维度

5 独热编码

6 防止验证模型时爆显存

7 学习率衰减

8 冻结某些层的参数

9 对不同层使用不同学习率

1. 指定GPU编号

设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0：

os.environ["CUDA_VISIBLE_DEVICES"] = "0"

设置当前使用的GPU设备为0, 1号两个设备，名称依次为 /gpu:0、/gpu:1： 

os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" 

根据顺序表示优先使用0号设备,然后使用1号设备。指定GPU的命令需要放在和神经网络相关的一系列操作的前面。

2. 查看模型每层输出详情

Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。使用很简单，如下用法：

from torchsummary import summary
summary(your_model, input_size=(channels, H, W))

input_size 是根据你自己的网络模型的输入尺寸进行设置。

3. 梯度裁剪（Gradient Clipping）

import torch.nn as nn

outputs = model(data)
loss= loss_fn(outputs, target)
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)
optimizer.step()

 

nn.utils.clip_grad_norm_ 的参数：

  • parameters – 一个基于变量的迭代器，会进行梯度归一化

  • max_norm – 梯度的最大范数

  • norm_type – 规定范数的类型，默认为L2

4. 扩展单张图片维度

因为在训练时的数据维度一般都是 (batch_size, c, h, w)，而在测试时只输入一张图片，所以需要扩展维度，扩展维度有多个方法：

import cv2
import torch

image = cv2.imread(img_path)
image = torch.tensor(image)
print(image.size())

img = image.view(1, *image.size())
print(img.size())

# output:
# torch.Size([h, w, c])
# torch.Size([1, h, w, c])

或

import cv2
import numpy as np

image = cv2.imread(img_path)
print(image.shape)
img = image[np.newaxis, :, :, :]
print(img.shape)

# output:
# (h, w, c)
# (1, h, w, c)

或

import cv2
import torch

image = cv2.imread(img_path)
image = torch.tensor(image)
print(image.size())

img = image.unsqueeze(dim=0)  
print(img.size())

img = img.squeeze(dim=0)
print(img.size())

# output:
# torch.Size([(h, w, c)])
# torch.Size([1, h, w, c])
# torch.Size([h, w, c])

tensor.unsqueeze(dim)：扩展维度，dim指定扩展哪个维度。

tensor.squeeze(dim)：去除dim指定的且size为1的维度，维度大于1时，squeeze()不起作用，不指定dim时，去除所有size为1的维度。

5. 独热编码

在PyTorch中使用交叉熵损失函数的时候会自动把label转化成onehot，所以不用手动转化，而使用MSE需要手动转化成onehot编码。​​​​​​​

import torch
class_num = 8
batch_size = 4

def one_hot(label):
    """
    将一维列表转换为独热编码
    """
    label = label.resize_(batch_size, 1)
    m_zeros = torch.zeros(batch_size, class_num)
    # 从 value 中取值，然后根据 dim 和 index 给相应位置赋值
    onehot = m_zeros.scatter_(1, label, 1)  # (dim,index,value)

    return onehot.numpy()  # Tensor -> Numpy

label = torch.LongTensor(batch_size).random_() % class_num  # 对随机数取余
print(one_hot(label))

# output:
[[0. 0. 0. 1. 0. 0. 0. 0.]
 [0. 0. 0. 0. 1. 0. 0. 0.]
 [0. 0. 1. 0. 0. 0. 0. 0.]
 [0. 1. 0. 0. 0. 0. 0. 0.]]

6. 防止验证模型时爆显存

验证模型时不需要求导，即不需要梯度计算，关闭autograd，可以提高速度，节约内存。如果不关闭可能会爆显存。​​​​​​​

with torch.no_grad():    # 使用model进行预测的代码    pass

这是原回答：

Pytorch 训练时无用的临时变量可能会越来越多，导致 out of memory ，可以使用下面语句来清理这些不需要的变量。

官网上的解释为：

Releases all unoccupied cached memory currently held by the caching allocator so that those can be used in other GPU application and visible innvidia-smi.torch.cuda.empty_cache()

意思就是PyTorch的缓存分配器会事先分配一些固定的显存，即使实际上tensors并没有使用完这些显存，这些显存也不能被其他应用使用。这个分配过程由第一次CUDA内存访问触发的。

而 torch.cuda.empty_cache() 的作用就是释放缓存分配器当前持有的且未占用的缓存显存，以便这些显存可以被其他GPU应用程序中使用，并且通过 nvidia-smi命令可见。注意使用此命令不会释放tensors占用的显存。

对于不用的数据变量，Pytorch 可以自动进行回收从而释放相应的显存。

更详细的优化可以查看：
优化显存使用：
https://blog.csdn.net/qq_28660035/article/details/80688427
显存利用问题：
https://oldpan.me/archives/pytorch-gpu-memory-usage-track

7. 学习率衰减​​​​​​​

import torch.optim as optim
from torch.optim import lr_scheduler

# 训练前的初始化
optimizer = optim.Adam(net.parameters(), lr=0.001)
scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1)  # # 每过10个epoch，学习率乘以0.1

# 训练过程中
for n in n_epoch:
    scheduler.step()
    ...

8. 冻结某些层的参数

在加载预训练模型的时候，我们有时想冻结前面几层，使其参数在训练过程中不发生变化。

需要先知道每一层的名字，通过如下代码打印：​​​​​​​

net = Network()  # 获取自定义网络结构
for name, value in net.named_parameters():
    print('name: {0},\t grad: {1}'.format(name, value.requires_grad))
假设前几层信息如下：​​​​​​​

name: cnn.VGG_16.convolution1_1.weight,   grad: True
name: cnn.VGG_16.convolution1_1.bias,   grad: True
name: cnn.VGG_16.convolution1_2.weight,   grad: True
name: cnn.VGG_16.convolution1_2.bias,   grad: True
name: cnn.VGG_16.convolution2_1.weight,   grad: True
name: cnn.VGG_16.convolution2_1.bias,   grad: True
name: cnn.VGG_16.convolution2_2.weight,   grad: True
name: cnn.VGG_16.convolution2_2.bias,   grad: True
后面的True表示该层的参数可训练，然后定义一个要冻结的层的列表：​​​​​​​

no_grad = [
    'cnn.VGG_16.convolution1_1.weight',
    'cnn.VGG_16.convolution1_1.bias',
    'cnn.VGG_16.convolution1_2.weight',
    'cnn.VGG_16.convolution1_2.bias'
]

冻结方法如下：​​​​​​​

net = Net.CTPN()  # 获取网络结构
for name, value in net.named_parameters():
    if name in no_grad:
        value.requires_grad = False
    else:
        value.requires_grad = True

冻结后再打印每层的信息：​​​​​​​

name: cnn.VGG_16.convolution1_1.weight,   grad: False
name: cnn.VGG_16.convolution1_1.bias,   grad: False
name: cnn.VGG_16.convolution1_2.weight,   grad: False
name: cnn.VGG_16.convolution1_2.bias,   grad: False
name: cnn.VGG_16.convolution2_1.weight,   grad: True
name: cnn.VGG_16.convolution2_1.bias,   grad: True
name: cnn.VGG_16.convolution2_2.weight,   grad: True
name: cnn.VGG_16.convolution2_2.bias,   grad: True

可以看到前两层的weight和bias的requires_grad都为False，表示它们不可训练。最后在定义优化器时，只对requires_grad为True的层的参数进行更新。

optimizer = optim.Adam(filter(lambda p: p.requires_grad, net.parameters()), lr=0.01)

9. 对不同层使用不同学习率

我们对模型的不同层使用不同的学习率。还是使用这个模型作为例子：

net = Network()  # 获取自定义网络结构
for name, value in net.named_parameters():
    print('name: {}'.format(name))

# 输出：
# name: cnn.VGG_16.convolution1_1.weight
# name: cnn.VGG_16.convolution1_1.bias
# name: cnn.VGG_16.convolution1_2.weight
# name: cnn.VGG_16.convolution1_2.bias
# name: cnn.VGG_16.convolution2_1.weight
# name: cnn.VGG_16.convolution2_1.bias
# name: cnn.VGG_16.convolution2_2.weight
# name: cnn.VGG_16.convolution2_2.bias

对 convolution1 和 convolution2 设置不同的学习率，首先将它们分开，即放到不同的列表里：

conv1_params = []
conv2_params = []

for name, parms in net.named_parameters():
    if "convolution1" in name:
        conv1_params += [parms]
    else:
        conv2_params += [parms]

# 然后在优化器中进行如下操作：
optimizer = optim.Adam(
    [
        {"params": conv1_params, 'lr': 0.01},
        {"params": conv2_params, 'lr': 0.001},
    ],
    weight_decay=1e-3,
)

将模型划分为两部分，存放到一个列表里，每部分就对应上面的一个字典，在字典里设置不同的学习率。当这两部分有相同的其他参数时，就将该参数放到列表外面作为全局参数，如上面的`weight_decay`。也可以在列表外设置一个全局学习率，当各部分字典里设置了局部学习率时，就使用该学习率，否则就使用列表外的全局学习率。

hanscalZheng
关注
专栏目录
pytorch常用函数手册
03-07
### PyTorch常用函数手册知识点概述 #### 一、引言 PyTorch作为一个领先的开源机器学习库，凭借其灵活性和高效性，在学术界和工业界都得到了广泛应用。该手册致力于为用户提供一个全面且易于查阅的PyTorch函数指南...
python--filter()函数
学渣的博客
11-08 2万+
描述 filter() 函数用于过滤列表形式的序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表，并以迭代器对象的形式返回。 语法 filter(function, iterable) function – 判断函数。 iterable – 可迭代对象。 示例 过滤出列表中的所有奇数 def is_odd(n): return n % 2 == 1 newlist = filter(is_odd, [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]) # 因为返回的是迭代器，
PyTorch 的一些小trick
愿十四亿神州尽舜尧
08-27 526
目录： 指定GPU编号 查看模型每层输出详情 梯度裁剪 扩展单张图片维度 独热编码 防止验证模型时爆显存 学习率衰减 冻结某些层的参数 对不同层使用不同学习率 1、指定GPU编号 设置当前使用的GPU设备仅为0号设备，设备名称为/gpu:0：os.environ["CUDA_VISIBLE_DE...
pytorch独热编码
weixin_55191433的博客
04-22 2080
将数【1，3，4，2】变成独热编码的形式，torch.zeros(4,5)中的4是数的个数，5表示数的最大值加1
TORCH.NN.FUNCTIONAL.ONE_HOT
scar2016的博客
10-28 3870
文章目录1.独热编码2.不带参数独热编码,仅只输入一个张量 one_hot2.1 代码2.2 输出结果3. 带参数独热编码,一个参数为输入张量，另外一个为类别数3.2 结果 1.独热编码 定义：torch.nn.functional.one_hot(tensor, num_classes=- 1) → LongTensor 描述：Takes LongTensor with index values of shape () and returns a tensor of shape (, num_classe
PyTorch常用基本方法pdf
最新发布
07-28
1.1.1 张量初始化 1.均匀分布 torch.rand(*sizes, out=None)→Tensor 返回一个张量，包含了从区间[0,1)的均匀分布中抽取的一组随机数。张量的形状由参数sizes定义。 参数 sizes (int...):整数序列，定义了输出张量的...
pytorch 常用线性函数详解
09-18
下面我们就来详细探讨PyTorch中常用的线性函数，以及它们的具体作用和使用方法。 首先，PyTorch中的线性函数主要利用了基础线性代数包（BLAS）和线性代数包（Lapack）的高性能实现。这使得在PyTorch中进行线性代数...
Pytorch常用函数手册(合计14章节笔记共164页)
07-22
Pytorch常用函数手册(合计14章节笔记共164页)Pytorch常用函数手册(合计14章节笔记共164页)Pytorch常用函数手册(合计14章节笔记共164页)Pytorch常用函数手册(合计14章节笔记共164页)Pytorch常用函数手册(合计14章节...
pytorch冻结部分参数训练另一部分
Huiyu Blog
12-04 1780
冻结参数仅需两行代码 for param in net.parameters(): param.requires_grad = False 另外一个小技巧就是在nn.Module里冻结参数，这样前面的参数就是False，而后面的不变。 class Net(nn.Module): def __init__(self): super(Net, self)._...
pytorch冻结模型中某几层的参数
谁谓荼苦，其甘如荠
12-16 9880
本文系转载，写得很详细，故记录于此，方便查阅（实际上只看方法1就够了） 链接：https://www.zhihu.com/question/311095447/answer/589307812 先列出4种可行参考方法，最后列出一种方法的代码实现。 首先假设如下的模型： class Char3SeqModel(nn.Module): def __init__(self, char_sz, n_fac, n_h): super().__init__() .
什么是one-hot encoding？Pytorch中，将label变成one hot编码的两种方式
Hali_Botebie的博客
06-15 3239
参考：独热编码（One-Hot Encoding）独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。独热编码（哑变量 dummy variable）是因为大部分算法是基于向量空间中的度量来进行计算的，为了使非偏序关系的变量取值不具有偏序性，并且到圆点是等距的。使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，会
深度学习网络中设置部分层参数可调
weixin_42160956的博客
05-29 805
1.基于框架pytorch。先查看网络每层的名字p[0]，将需要梯度更新的层的名字记下，替换以下代码中的’conv5_ft.conv.weight/bias’，将不需要梯度更新层的require_grad设为False。 for p in net.named_parameters(): if p[0] != ‘conv5_ft.conv.weight’ and p[0]!=‘conv5_ft.co......
PyTorch Trick集锦
qq_45752541的博客
09-13 1453
PyTorch Trick集锦欢迎使用Markdown编辑器1、指定GPU编号2、查看模型每层输出详情3、梯度裁剪（Gradient Clipping）4.扩展tensor维度5、独热编码6、防止验证模型时爆显存7、学习率衰减冻结某些层的参数9、对不同层使用不同学习率10、模型相关操作11、网络参数初始化12、加载内置预训练模型如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 1、指定GPU
【pytorch】筛选冻结部分网络层参数同时设置有参数组的时候该怎么办？
lingzhou33的博客
04-02 6316
在进行神经网络训练的时候，常常需要冻结部分网络层的参数，不想让他们回传梯度。这个其实很简单，其他博客里教程很多~ 那如果，我想对不同的参数设置不同的学习率呢？这个其他博客也有，设置参数组就好啦，优化器就可以分别设置学习率了。 那么，如果我同时想冻结参数和设置不同的学习率呢？是不是把两个人给合起来就好了？好的那你试试吧看看行不行。 我最近工作中需要对two-stream的其中的一只进行冻结，并且设置...
python filter(lambda x: x.requires_grad, parameters)什么意思
qq_38148600的博客
08-02 3838
今天读到一行代码 parameters = filter(lambda x: x.requires_grad, parameters)#过滤 之前讲过parameters是存储神经网络中间产数矩阵的变量。 lambda x: x.requires_grad，parameters 是什么意思呢 查询到网页https://www.cnblogs.com/evening/archive/2012/03/29/2423554.html 看个例子： g = lambda x:x+1 下面是代码运行
Pytorch 训练网络时 fix 住部分层参数
This is bill的专属博客
05-29 2795
先粘贴一段非常好的pytorch forum回复，来自https://discuss.pytorch.org/t/how-the-pytorch-freeze-network-in-some-layers-only-the-rest-of-the-training/7088/2 I faced this just a few days ago, so I’m sure this code sh...
pytorch载入预训练模型后，只想训练个别层怎么办？使用filter(lambda p: p.requires_grad, model.parameters())
Akita·Wang's Semantic Segmentation
05-23 3086
有了已经训练好的模型参数，对这个模型的某些层做了改变，如何利用这些训练好的模型参数继续训练 def init_weights(self, pretrained='',): logger.info('=> init weights from normal distribution') for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init
pytorch迁移学习中parameters requires_grad=False和optimizer优化参数的探讨
热门推荐
york1996的博客
10-11 2万+
首先背景是迁移学习，以VGG16网络为例，固定他的特征提取层，优化他的全连接分类层。 有的书上写了： for param in vgg.features.parameters(): param.requeires_grad=False 然后在定义优化器的时候，又写了下面的代码： optimizer=optim.SGD(vgg.classifier.paramters(),lr...
pytorch常用函数手册pdf下载
07-09
要下载PyTorch常用函数手册的PDF，可以按照以下步骤进行： 1. 打开浏览器，进入搜索引擎网站。 2. 在搜索框中输入关键词“PyTorch常用函数手册PDF下载”。 3. 根据搜索结果，选择一个可信的网站，例如官方文档或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值