![](https://img-blog.csdnimg.cn/20200916134706594.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Deep-Learning-with-PyTorch
PyTorch官方教材
敲代码的小风
是书何以作?曰:为以夷攻夷而作,为以夷款夷而作,为师夷长技以制夷而作。
展开
-
BAM注意力机制模块
参考链接: BAM and CBAM.实验代码:import torchimport mathimport torch.nn as nnimport torch.nn.functional as Fclass Flatten(nn.Module): def forward(self, x): return x.view(x.size(0), -1)class ChannelGate(nn.Module): def __init__(self, gate_cha原创 2021-05-07 16:34:02 · 1308 阅读 · 0 评论 -
class torch.optim.lr_scheduler.CosineAnnealingWarmRestarts
参考链接: class torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer, T_0, T_mult=1, eta_min=0, last_epoch=-1, verbose=False)原创 2021-04-26 11:29:35 · 1000 阅读 · 0 评论 -
class torch.optim.lr_scheduler.OneCycleLR
参考链接: class torch.optim.lr_scheduler.OneCycleLR(optimizer, max_lr, total_steps=None, epochs=None, steps_per_epoch=None, pct_start=0.3, anneal_strategy=‘cos’, cycle_momentum=True, base_momentum=0.85, max_momentum=0.95, div_factor=25.0, final_div_factor=1000原创 2021-04-26 11:28:32 · 1804 阅读 · 0 评论 -
class torch.optim.lr_scheduler.CyclicLR
参考链接: class torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=2000, step_size_down=None, mode=‘triangular’, gamma=1.0, scale_fn=None, scale_mode=‘cycle’, cycle_momentum=True, base_momentum=0.8, max_momentum=0.9, last_epoch=-1, verb原创 2021-04-26 11:27:18 · 655 阅读 · 0 评论 -
class torch.optim.lr_scheduler.ReduceLROnPlateau
参考链接: class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode=‘min’, factor=0.1, patience=10, threshold=0.0001, threshold_mode=‘rel’, cooldown=0, min_lr=0, eps=1e-08, verbose=False)原创 2021-04-26 11:25:41 · 880 阅读 · 0 评论 -
class torch.optim.lr_scheduler.CosineAnnealingLR
参考链接: class torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1, verbose=False)原创 2021-04-26 11:24:36 · 2933 阅读 · 0 评论 -
class torch.optim.lr_scheduler.ExponentialLR
参考链接: class torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1, verbose=False)原创 2021-04-26 11:23:26 · 4016 阅读 · 0 评论 -
class torch.optim.lr_scheduler.MultiStepLR
参考链接: class torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1, verbose=False)原创 2021-04-26 11:22:18 · 343 阅读 · 0 评论 -
class torch.optim.lr_scheduler.StepLR
参考链接: class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1, verbose=False)原创 2021-04-26 11:21:12 · 2586 阅读 · 0 评论 -
class torch.optim.lr_scheduler.MultiplicativeLR
参考链接: class torch.optim.lr_scheduler.MultiplicativeLR(optimizer, lr_lambda, last_epoch=-1, verbose=False)原创 2021-04-26 11:19:44 · 283 阅读 · 0 评论 -
class torch.optim.lr_scheduler.LambdaLR
参考链接: class torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1, verbose=False)原创 2021-04-26 11:18:34 · 2225 阅读 · 0 评论 -
pytorch中调整学习率之 ---- How to adjust learning rate
参考链接: How to adjust learning rate原创 2021-04-25 20:21:33 · 794 阅读 · 0 评论 -
class torch.autograd.set_grad_enabled(mode: bool)的使用举例
参考链接: class torch.autograd.set_grad_enabled(mode: bool)原创 2021-04-19 15:08:44 · 1092 阅读 · 0 评论 -
class torch.autograd.enable_grad的使用举例
参考链接: class torch.autograd.enable_grad原创 2021-04-19 15:06:54 · 805 阅读 · 0 评论 -
class torch.autograd.no_grad的使用举例
参考链接: class torch.autograd.no_grad原创 2021-04-19 15:04:02 · 453 阅读 · 0 评论 -
pytorch局部范围内禁用梯度计算,no_grad、enable_grad、set_grad_enabled使用举例
参考链接: Locally disabling gradient computation原创 2021-04-19 14:19:34 · 2646 阅读 · 0 评论 -
torch.utils.data.DataLoader中的collate_fn的使用
参考链接: class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, multiprocessing_context=None)原创 2021-04-14 10:16:45 · 1216 阅读 · 0 评论 -
torch.tensor张量切片操作中的省略号的作用Ellipsis
Microsoft Windows [版本 10.0.18363.1440](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0(ssd4pytorch1_2_0) C:\Users\chenxuqi>pythonPython 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)] ::原创 2021-04-13 13:58:51 · 860 阅读 · 0 评论 -
class torch.nn.UpsamplingBilinear2d(size=None, scale_factor=None)的使用举例
参考链接: class torch.nn.UpsamplingBilinear2d(size=None, scale_factor=None)实验举例:(base) PS C:\Users\chenxuqi> conda activate pytorch_1.7.1_cu102(pytorch_1.7.1_cu102) PS C:\Users\chenxuqi> pythonPython 3.7.9 (default, Aug 31 2020, 17:10:11) [MSC v.191原创 2021-04-13 09:55:11 · 4537 阅读 · 0 评论 -
普通卷积和深度可分离卷积图示
普通卷积:深度可分离卷积:两者参数对比:原创 2021-03-17 22:59:01 · 426 阅读 · 0 评论 -
打印VGG19网络的结构和参数
代码展示:from nets.ssd import get_ssdimport torchfrom torchsummary import summaryfrom torchstat import statmodel = get_ssd("train",3)model = torch.nn.Sequential(*model.vgg)summary(model.cuda(), input_size=(3, 300, 300), batch_size=1) print('结束'.cente原创 2021-03-17 09:47:31 · 3445 阅读 · 0 评论 -
pytorch统计参数量和运算量实用工具之torchsummary、torchstat和thop以及打印MobileNet网络的参数数量和浮点数运算量
参考链接: pytorch实用工具:torchsummary参考链接: 【DL】torch小技巧之网络参数统计 torchstat & torchsummary参考链接: 【Deep Learning】计算PyTorch模型的FLOPs安装:pip install torchsummarypip install torchstatpip install thop模型文件大小:代码展示:import torchimport torch.nn as nnimport tor原创 2021-03-16 22:14:51 · 5734 阅读 · 2 评论 -
注意力机制(通道注意机制、空间注意力机制、CBAM、SELayer)
参考链接: 注意力机制参考链接: 深度学习卷积神经网络重要结构之通道注意力和空间注意力模块参考链接: 用于卷积神经网络的注意力机制(Attention)----CBAM: Convolutional Block Attention Module参考链接: link参考链接: link参考链接: link参考链接: link参考链接: link参考链接: link参考链接: link...原创 2021-03-15 13:26:52 · 33980 阅读 · 24 评论 -
讨论PyTorch中模型加载时参数不一致的情况
参考链接: torch.nn.Module.load_state_dict(state_dict, strict=True)首先保存参数不同的模型:保存模型的代码:# 分别为来自CPU和GPU的模型保存参数,# 并再次将模型的参数加载到位于CPU或者GPU的模型上import torch import torch.nn as nntorch.manual_seed(seed=20200910)class Model(torch.nn.Module): def __init__(se原创 2021-03-13 17:02:35 · 7052 阅读 · 9 评论 -
PyTorch神经网络模型从CPU或GPU中加载和保存
保存模型,分别保存CPU模型和GPU模型:代码展示:# 分别为来自CPU和GPU的模型保存参数,# 并再次将模型的参数加载到位于CPU或者GPU的模型上import torch import torch.nn as nntorch.manual_seed(seed=20200910)class Model(torch.nn.Module): def __init__(self): super(Model,self).__init__() self.c原创 2021-03-13 15:04:20 · 1172 阅读 · 1 评论 -
PyTorch训练模型时,给优化器传入多余参数,这些多余的参数并不参与前向传播,因而也无法在反向传播中训练更新
代码展示:# 测试训练模型时,模型有多余未参与传播的参数import torch import torch.nn as nntorch.manual_seed(seed=20200910)class Model(torch.nn.Module): def __init__(self): super(Model,self).__init__() self.conv1=torch.nn.Sequential( # 输入torch.Size([64, 1, 2原创 2021-03-13 13:51:37 · 1022 阅读 · 0 评论 -
MobileNet代码
参考链接: pytorch实现MobileNet实验代码展示:import torchimport torch.nn as nnimport torch.nn.functional as Fclass Block(nn.Module): '''Depthwise conv + Pointwise conv 实现深度卷积和逐点卷积''' def __init__(self, in_planes, out_planes, stride=1): super(B原创 2021-02-15 21:21:29 · 967 阅读 · 0 评论 -
torch.nn.functional.avg_pool2d和torch.nn.AvgPool2d的使用
参考链接: torch.nn.functional.avg_pool2d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True, divisor_override=None)参考链接: class torch.nn.AvgPool2d(kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True, di原创 2021-02-15 20:59:18 · 3562 阅读 · 1 评论 -
torch.nn.BatchNorm2d()的使用
参考链接: class torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)实验代码展示:在这里插入代码片原创 2021-02-15 16:59:23 · 1899 阅读 · 1 评论 -
注意力机制
通道注意力机制:import torchfrom torch import nnclass ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=16): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.原创 2021-02-08 20:43:19 · 2639 阅读 · 0 评论 -
打印VGG网络的信息
参考链接: VGG代码实验: torchvision.models.vgg11(pretrained=False, progress=True, **kwargs)Microsoft Windows [版本 10.0.18363.1316](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0(ssd4pytorch1_2_0) C:\Users\chenxuqi>原创 2021-02-07 22:15:01 · 280 阅读 · 0 评论 -
torch.nn.BatchNorm2d的使用举例
参考链接: class torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)代码实验展示:Microsoft Windows [版本 10.0.18363.1316](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0(ss原创 2021-02-07 22:00:38 · 1145 阅读 · 0 评论 -
【PyTorch学习笔记】class torch.nn.AdaptiveMaxPool2d(output_size, return_indices=False)
参考链接: class torch.nn.AdaptiveMaxPool2d(output_size, return_indices=False)参考链接: torch.nn.functional.adaptive_max_pool2d(*args, **kwargs)代码实验展示:Microsoft Windows [版本 10.0.18363.1316](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda act原创 2021-02-03 22:06:25 · 718 阅读 · 2 评论 -
【PyTorch学习笔记】class torch.nn.Sigmoid
参考链接: class torch.nn.Sigmoid参考链接: torch.nn.functional.sigmoid(input) → Tensor代码实验展示:Microsoft Windows [版本 10.0.18363.1316](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0(ssd4pytorch1_2_0) C:\Users\chenxu原创 2021-02-03 21:49:10 · 1142 阅读 · 1 评论 -
【PyTorch学习笔记】class torch.nn.AdaptiveAvgPool2d(output_size)
参考链接: class torch.nn.AdaptiveAvgPool2d(output_size)代码实验:Microsoft Windows [版本 10.0.18363.1316](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0(ssd4pytorch1_2_0) C:\Users\chenxuqi>pythonPython 3.7.7 (def原创 2021-02-03 21:17:07 · 620 阅读 · 1 评论 -
pytorch中 += 操作被视为是原地操作
Microsoft Windows [版本 10.0.18363.1316](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate ssd4pytorch1_2_0(ssd4pytorch1_2_0) C:\Users\chenxuqi>pythonPython 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)] ::原创 2021-02-01 19:44:54 · 666 阅读 · 0 评论 -
torch.nn.ReLU和nn.Conv2d()参数和状态的保存区别
Microsoft Windows [版本 10.0.18363.1316](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\chenxuqi>conda activate pytorch_1.7.1_cu102(pytorch_1.7.1_cu102) C:\Users\chenxuqi>pythonPython 3.7.9 (default, Aug 31 2020, 17:10:11) [MSC v.1916 64 bit (AMD6原创 2021-01-31 10:18:48 · 988 阅读 · 0 评论 -
grad-cam用于SSD目标检测
链接: link代码:import torchimport argparseimport cv2import numpy as npimport torch.nn as nnfrom torch.autograd import Functionfrom torchvision import models, transformsfrom ssd import SSDfrom nets.ssd import get_ssdfrom PIL import Image, ImageDrawf原创 2021-01-29 20:53:48 · 2046 阅读 · 3 评论 -
pytorch-grad-cam源代码阅读和调试(下)
笔者使用代码及相关文件下载链接: 【源代码文件】pytorch-grad-cam源代码阅读和调试源代码链接: jacobgil/pytorch-grad-cam 代码实验展示:import torchimport argparseimport cv2import numpy as npimport torch.nn as nnfrom torch.autograd import Functionfrom torchvision import models, transformscla原创 2021-01-27 22:24:40 · 1265 阅读 · 2 评论 -
pytorch-grad-cam源代码阅读和调试(中)
笔者使用代码及相关文件下载链接: 【源代码文件】pytorch-grad-cam源代码阅读和调试源代码链接: jacobgil/pytorch-grad-cam原创 2021-01-27 21:37:58 · 2387 阅读 · 1 评论