Pytorch trick

最新推荐文章于 2021-04-20 18:40:41 发布
最新推荐文章于 2021-04-20 18:40:41 发布
阅读量99 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eilot_c/article/details/106858110
版权

目录：

  1. 指定GPU编号
  2. 查看模型每层输出详情
  3. 梯度裁剪
  4. 扩展单张图片维度
  5. 独热编码
  6. 防止验证模型时爆显存
  7. 学习率衰减
  8. 冻结某些层的参数
  9. 对不同层使用不同学习率

1. 指定GPU编号

  • 设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0：os.environ[“CUDA_VISIBLE_DEVICES”] = “0”
  • 设置当前使用的GPU设备为0,1号两个设备，名称依次为 /gpu:0、/gpu:1： os.environ[“CUDA_VISIBLE_DEVICES”] = “0,1” ，根据顺序表示优先使用0号设备,然后使用1号设备。
    指定GPU的命令需要放在和神经网络相关的一系列操作的前面。

2.查看模型每层输出详情

Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。

使用很简单，如下用法：

1
2

from torchsummary import summary
summary(your_model, input_size=(channels, H, W))

input_size 是根据你自己的网络模型的输入尺寸进行设置。

3.梯度裁剪（Gradient Clipping）

1
2
3
4
5
6
7
8

import torch.nn as nn

outputs = model(data)
loss= loss_fn(outputs, target)
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)
optimizer.step()

nn.utils.clip_grad_norm_ 的参数：

  • parameters – 一个基于变量的迭代器，会进行梯度归一化
  • max_norm – 梯度的最大范数
  • max_norm – 梯度的最大范数
    知乎用户 不椭的椭圆 提出：梯度裁剪在某些任务上会额外消耗大量的计算时间，可移步评论区查看详情。

4、扩展单张图片维度

因为在训练时的数据维度一般都是 (batch_size, c, h, w)，而在测试时只输入一张图片，所以需要扩展维度，扩展维度有多个方法：

1
2
3
4
5
6
7
8
9
10
11
12
13

import cv2
import torch

image = cv2.imread(img_path)
image = torch.tensor(image)
print(image.size())

img = image.view(1, *image.size())
print(img.size())

# output:
# torch.Size([h, w, c])
# torch.Size([1, h, w, c])

或者

1
2
3
4
5
6
7
8
9
10
11

import cv2
import numpy as np

image = cv2.imread(img_path)
print(image.shape)
img = image[np.newaxis, :, :, :]
print(img.shape)

# output:
# (h, w, c)
# (1, h, w, c)

或者

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

import cv2
import torch

image = cv2.imread(img_path)
image = torch.tensor(image)
print(image.size())

img = image.unsqueeze(dim=0)  
print(img.size())

img = img.squeeze(dim=0)
print(img.size())

# output:
# torch.Size([(h, w, c)])
# torch.Size([1, h, w, c])
# torch.Size([h, w, c])

tensor.unsqueeze(dim)：扩展维度，dim指定扩展哪个维度。

tensor.squeeze(dim)：去除dim指定的且size为1的维度，维度大于1时，squeeze()不起作用，不指定dim时，去除所有size为1的维度。

5.独热编码

在PyTorch中使用交叉熵损失函数的时候会自动把label转化成onehot，所以不用手动转化，而使用MSE需要手动转化成onehot编码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import torch
class_num = 8
batch_size = 4

def one_hot(label):
    """
    将一维列表转换为独热编码
    """
    label = label.resize_(batch_size, 1)
    m_zeros = torch.zeros(batch_size, class_num)
    # 从 value 中取值，然后根据 dim 和 index 给相应位置赋值
    onehot = m_zeros.scatter_(1, label, 1)  # (dim,index,value)

    return onehot.numpy()  # Tensor -> Numpy

label = torch.LongTensor(batch_size).random_() % class_num  # 对随机数取余
print(one_hot(label))

# output:
[[0. 0. 0. 1. 0. 0. 0. 0.]
 [0. 0. 0. 0. 1. 0. 0. 0.]
 [0. 0. 1. 0. 0. 0. 0. 0.]
 [0. 1. 0. 0. 0. 0. 0. 0.]]

6. 防止验证模型时爆显存

验证模型时不需要求导，即不需要梯度计算，关闭autograd，可以提高速度，节约内存。如果不关闭可能会爆显存。

1
2
3

with torch.no_grad():
    # 使用model进行预测的代码
    pass

感谢知乎用户zhaz 的提醒，我把 torch.cuda.empty_cache() 的使用原因更新一下。

这是原回答：

Pytorch 训练时无用的临时变量可能会越来越多，导致 out of memory ，可以使用下面语句来清理这些不需要的变量。

官网 上的解释为：

Releases all unoccupied cached memory currently held by the caching allocator so that those can be used in other GPU application and visible innvidia-smi.torch.cuda.empty_cache()

意思就是PyTorch的缓存分配器会事先分配一些固定的显存，即使实际上tensors并没有使用完这些显存，这些显存也不能被其他应用使用。这个分配过程由第一次CUDA内存访问触发的。

而 torch.cuda.empty_cache() 的作用就是释放缓存分配器当前持有的且未占用的缓存显存，以便这些显存可以被其他GPU应用程序中使用，并且通过 nvidia-smi命令可见。注意使用此命令不会释放tensors占用的显存。

对于不用的数据变量，Pytorch 可以自动进行回收从而释放相应的显存。

7. 学习率衰减

1
2
3
4
5
6
7
8
9
10
11

import torch.optim as optim
from torch.optim import lr_scheduler

# 训练前的初始化
optimizer = optim.Adam(net.parameters(), lr=0.001)
scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1)  # # 每过10个epoch，学习率乘以0.1

# 训练过程中
for n in n_epoch:
    scheduler.step()
    ...

8. 冻结某些层的参数

在加载预训练模型的时候，我们有时想冻结前面几层，使其参数在训练过程中不发生变化。

我们需要先知道每一层的名字，通过如下代码打印：

1
2
3

net = Network()  # 获取自定义网络结构
for name, value in net.named_parameters():
    print('name: {0},	 grad: {1}'.format(name, value.requires_grad))

假设前几层信息如下：

1
2
3
4
5
6
7
8

name: cnn.VGG_16.convolution1_1.weight, grad: True
name: cnn.VGG_16.convolution1_1.bias, grad: True
name: cnn.VGG_16.convolution1_2.weight, grad: True
name: cnn.VGG_16.convolution1_2.bias, grad: True
name: cnn.VGG_16.convolution2_1.weight, grad: True
name: cnn.VGG_16.convolution2_1.bias, grad: True
name: cnn.VGG_16.convolution2_2.weight, grad: True
name: cnn.VGG_16.convolution2_2.bias, grad: True

后面的True表示该层的参数可训练，然后我们定义一个要冻结的层的列表：

1
2
3
4
5
6

no_grad = [
    'cnn.VGG_16.convolution1_1.weight',
    'cnn.VGG_16.convolution1_1.bias',
    'cnn.VGG_16.convolution1_2.weight',
    'cnn.VGG_16.convolution1_2.bias'
]

冻结方法如下：

1
2
3
4
5
6

net = Net.CTPN()  # 获取网络结构
for name, value in net.named_parameters():
    if name in no_grad:
        value.requires_grad = False
    else:
        value.requires_grad = True

冻结后我们再打印每层的信息：

1
2
3
4
5
6
7
8

name: cnn.VGG_16.convolution1_1.weight, grad: False
name: cnn.VGG_16.convolution1_1.bias, grad: False
name: cnn.VGG_16.convolution1_2.weight, grad: False
name: cnn.VGG_16.convolution1_2.bias, grad: False
name: cnn.VGG_16.convolution2_1.weight, grad: True
name: cnn.VGG_16.convolution2_1.bias, grad: True
name: cnn.VGG_16.convolution2_2.weight, grad: True
name: cnn.VGG_16.convolution2_2.bias, grad: True

可以看到前两层的weight和bias的requires_grad都为False，表示它们不可训练。
最后在定义优化器时，只对requires_grad为True的层的参数进行更新。

1

optimizer = optim.Adam(filter(lambda p: p.requires_grad, net.parameters()), lr=0.01)

9. 对不同层使用不同学习率

我们对模型的不同层使用不同的学习率。

还是使用这个模型作为例子：

1
2
3
4
5
6
7
8
9
10
11
12
13

net = Network()  # 获取自定义网络结构
for name, value in net.named_parameters():
    print('name: {}'.format(name))

# 输出：
# name: cnn.VGG_16.convolution1_1.weight
# name: cnn.VGG_16.convolution1_1.bias
# name: cnn.VGG_16.convolution1_2.weight
# name: cnn.VGG_16.convolution1_2.bias
# name: cnn.VGG_16.convolution2_1.weight
# name: cnn.VGG_16.convolution2_1.bias
# name: cnn.VGG_16.convolution2_2.weight
# name: cnn.VGG_16.convolution2_2.bias

对 convolution1 和 convolution2 设置不同的学习率，首先将它们分开，即放到不同的列表里：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

conv1_params = []
conv2_params = []

for name, parms in net.named_parameters():
    if "convolution1" in name:
        conv1_params += [parms]
    else:
        conv2_params += [parms]

# 然后在优化器中进行如下操作：
optimizer = optim.Adam(
    [
        {"params": conv1_params, 'lr': 0.01},
        {"params": conv2_params, 'lr': 0.001},
    ],
    weight_decay=1e-3,
)

我们将模型划分为两部分，存放到一个列表里，每部分就对应上面的一个字典，在字典里设置不同的学习率。当这两部分有相同的其他参数时，就将该参数放到列表外面作为全局参数，如上面的weight_decay。

也可以在列表外设置一个全局学习率，当各部分字典里设置了局部学习率时，就使用该学习率，否则就使用列表外的全局学习率。

显示训练时间

1
2
3
4
5
6

for epoch in range(start_epoch, config.epochs):
            start = time.time()
            train_loss, lr = train_epoch(model, optimizer, scheduler, train_loader, device, criterion, epoch, all_step,
                                         writer, logger)
            logger.info('[{}/{}], train_loss: {:.4f}, time: {:.4f}, lr: {}'.format(
                epoch, config.epochs, train_loss, time.time() - start, lr))

参考：https://mp.weixin.qq.com/s?__biz=MzU3NjE4NjQ4MA==&mid=2247485953&idx=2&sn=3ae788b7d643541254ba311f7a7faced&chksm=fd16fb1eca61720870bc58c1a465a346cf2c6a7e8bea39e4b3d582474b595021f3a5b635086d&mpshare=1&scene=1&srcid=&sharer_sharetime=1566885137387&sharer_shareid=285785c5623899db73795495779fe8be#rd

eilot_c
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch中图像的数据格式
gaishi_hero的博客
07-22 1万+
计算机视觉方面朋友都需要跟图像打交道，在pytorch中图像与我们平时在matlab中见到的图像数据格式有所不同。matlab中我们通常使用函数imread()来轻松地读入一张图像，我们在变量空间中可看到数据的存储方式是H x W x C的顺序（其中H、W、C分别表示图像的高、宽和通道数，通道数一般为RGB三通道），另外，其中的每一个数据都是[0,255]的整数。 在使用pytorch的时候，我...
深度学习与Pytorch入门实战（一）Pytorch张量操作
豆子
07-11 178
1. 数据类型 如何表示string? One-hot [0, 1, 0, 0, ...] Embedding Word2vec glove 类型推断 import torch # type check a = torch.randn(2, 3) print(a.type()) #tor...
Image.open 和scipy.misc.imread打开读取图片,以及torch的类型
zz2230633069的博客
09-12 5453
tensorflow，numpy的顺序是(batch,h,w,c) pytorch的顺序是(batch,c,h,w) 里面的图片打开属性查看，可以知道(h,w)=(375,1242)      高度（h）,宽度（w） 用Image打开的a是一个PIL类型的，用另外一个打开的b是numpy类型的 所以a查看大小：a.size=(1242,375)=(w,h)，注意a没有shape属性，另外一...
关于初学pytorch的一些疑惑及解答（最后一点还未找到答案）
weixin_45711264的博客
03-10 230
一、关于维度拓展 有两点疑问（红色标在图中）：1、为啥是在C维拓展，我看着像B维拓展啊？2、kernels.view里的-1是默认batchsize为1么，还是其他意思？ 解答： B C H W 0 1 2 3 这里已经取了某一个卷积核出来了，取出来的张量只剩下C H W， 然后对其进行unsqueeze(1)操作的结果是： C(原) C(新) H W 把原先的C(通道)当做...
deformable convolution（可变形卷积）算法解析及代码分析
热门推荐
mykeylock的博客
08-31 2万+
可变形卷积是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围。 可变形卷积的论文为：Deformable Convolutional Networks【1】 而之前google一篇论文对这篇论文有指导意义：Spatial Transformer Networks【2】 论文【1】的github代码地址为https://github.com/feli
[n, h, w, c]转[n, c, h, w]
Siumai's Blog
08-12 1669
由于Pytorch默认图片数据格式为[n, c, h, w]、rgb，因此若数据集为[n, h, w, c]格式时需要进行转换： # 为便于处理，先转为numpy数组 x = np.array(trainset['train_set_x']) x.shape, type(x) # ((1080, 64, 64, 3), numpy.ndarray) x = x.transpose([0, 3, 1, 2]) x = t.as_tensor(x) x.size() # torch.Size([1080, 3
pytorch trick
weixin_44125042的博客
04-20 145
写在前面： 前段时间我将使用 PyTorch 的过程中总结的一些小trick发到 知乎 上，突然就得到很多人点赞，非常感谢大家的认可。 有人评论可以转到github上，这样大家可以一起在上面分享自己的使用心得，我觉得这个主意不错，因为我个人接触面有限，总结不是很全面，如果大家群策群力，肯定能得到更好的结果。 啰嗦结束。 pytorch_tricks 目录： 指定GPU编号 查看模型每层输出详情 梯度裁剪 扩展单张图片维度 独热编码 防止验证模型时爆显存 学习率衰减 冻结某些层的参数 对不同层使用不同学习率
PyTorch 的一些小trick
愿十四亿神州尽舜尧
08-27 487
目录： 指定GPU编号 查看模型每层输出详情 梯度裁剪 扩展单张图片维度 独热编码 防止验证模型时爆显存 学习率衰减 冻结某些层的参数 对不同层使用不同学习率 1、指定GPU编号 设置当前使用的GPU设备仅为0号设备，设备名称为/gpu:0：os.environ["CUDA_VISIBLE_DE...
关于类型为numpy，TensorFlow.tensor，torch.tensor的shape变化以及相互转化
zz2230633069的博客
09-12 3714
1.numpy类型：numpy.ndarray  对于图片读取之后（H,W,C）或者（batch,H,W,C） （1）在元素总数不变的情况下：numpy类型的可以直接使用方法numpy.reshape任意改变大小,numpy.expand_dims增加维度，大小是1（这个函数可以参考numpy.expand_dims的用法） （2）元素总数可以变化：scipy.misc.imresize(a,...
pytorch中训练深度神经网络模型的关键知识点
weixin_42279044的博客
09-20 1825
关于数据格式 默认日常描述图片尺寸，采用[w,h]的形式，比如一张图片是1280*800就是指宽w=1280, 高h=800。 因此在cfg中所指定img scale = [1333, 800]就是指w=1333, h=800 从而转入计算机后，要从w,h变成h,w 默认的大部分数据集，输出格式都是n,h,w,c和bgr格式，一方面是hwc更普遍，另一方面是opencv读取的就是bgr。 pyt...
【创新未发表】Matlab实现秃鹰优化算法BES-Kmean-Transformer-LSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
巡检python.mp4
07-29
巡检python.mp4
三个版本企业数字化转型合集（2001-2022）（全新整理)
07-29
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/140383422 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 ## 数据指标说明 整理了基本上最常见的数字化转型的度量方式，全部都是目前为止最为常用的顶刊数据用法，具体数据说明如下（全部为2021最新版本） 一、吴非版本（2007-2021） 二、袁淳版本（2007-2021）（数据丰富） 三、张永珅版本 2001-2022
【SCI一区】Matlab实现蝗虫优化算法GOA-CNN-LSTM-Attention的风电功率预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
Matlab实现蝠鲼觅食优化算法MRFO-Kmean-Transformer-BiLSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
监控视频车辆计数统计功能研究
最新发布
07-29
针对实时获取监控视频车流量的迫切需求，利用 7<3+=$>O?@A%+ 实现监控视频车辆计数统计功能( 首先，通过背景减除法的前景提取算法来分割出图像中的车辆(然后，通过轮廓检测和形态学操作对车辆 进行处理和过滤，以消除噪声和不必要的检测结果确保准确计数(最后，将该方案与 67879, 模型和 27CD 算法相结合作对比(实验结果表明，两种方案都能够有效地实现车辆的计数，但传统图像处理没有 深度学习精度高，且难以适应不同路段的道路场景，为此提出将传统图像处理与深度学习相结合的建议， 为车辆计数提供更好的解决方案(
基于ARM64架构CPU使用docker-compose一键离线部署zookeeper 3.8.4分布式集群工具
07-29
原文链接：https://blog.csdn.net/m0_37814112/article/details/140762915 实现功能如下： 1、支持单机部署（1 zookeeper）。 2、支持单机伪集群部署（3 zookeeper）。 3、支持多机分布式机部署（3 zookeeper）。 4、支持数据目录、端口、JVM内存。 5、支持zookeeper配置文件、数据目录持久化。 6、支持部署、启动、停止、卸载、检测等操作。
基于C++和Opencv开发的3D合成孔径粒子图像测速方法+源码（毕业设计&课程设计&项目开发）
07-29
基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于C++开发的3D合成孔径粒子图像测速方法+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~
宝塔Linux面板安装Jumpserverv3.10.12-lts教程记录
07-29
这个时jumpserver的配置文件，解压密码手机号码11位
使用 PyTorch 进行深度学习实践指南
Deep Learning with PyTorch Deep Learning with PyTorch是一本关于使用PyTorch进行深度学习的实践指南。PyTorch是一个基于Python的开放源码机器学习库，提供了一个灵活、动态的方式来构建和训练神经网络模型。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值