Torch遇到的一些问题或者方法

最新推荐文章于 2024-02-03 14:48:26 发布
最新推荐文章于 2024-02-03 14:48:26 发布
阅读量248 收藏
点赞数 1
文章标签： pytorch 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40588315/article/details/120099801
版权

Torch遇到的一些问题或者方法

Pytorch的summary

Summary可以用来观察神经网络的输入输出，Pytorch和PaddlePaddle都有这个功能
首先导入summary

from torchsummary import summary

然后从torchvision中随便导入一个模型来尝试，这里导入resnet34

from torchvision.models import resnet34
model = resnet34().to('cuda')

假设输入是（3，256，256）形式的，summary一下

summary(model,(3,256,256),device='cuda')

得到结果

----------------------------------------------------------------
        Layer (type)               Output Shape         Param #
================================================================
            Conv2d-1         [-1, 64, 128, 128]           9,408
       BatchNorm2d-2         [-1, 64, 128, 128]             128
              ReLU-3         [-1, 64, 128, 128]               0
         MaxPool2d-4           [-1, 64, 64, 64]               0
            Conv2d-5           [-1, 64, 64, 64]          36,864
       BatchNorm2d-6           [-1, 64, 64, 64]             128
              ReLU-7           [-1, 64, 64, 64]               0
            Conv2d-8           [-1, 64, 64, 64]          36,864
       BatchNorm2d-9           [-1, 64, 64, 64]             128
             ReLU-10           [-1, 64, 64, 64]               0
       BasicBlock-11           [-1, 64, 64, 64]               0
           Conv2d-12           [-1, 64, 64, 64]          36,864
      BatchNorm2d-13           [-1, 64, 64, 64]             128
             ReLU-14           [-1, 64, 64, 64]               0
           Conv2d-15           [-1, 64, 64, 64]          36,864
      BatchNorm2d-16           [-1, 64, 64, 64]             128
             ReLU-17           [-1, 64, 64, 64]               0
       BasicBlock-18           [-1, 64, 64, 64]               0
           Conv2d-19           [-1, 64, 64, 64]          36,864
      BatchNorm2d-20           [-1, 64, 64, 64]             128
             ReLU-21           [-1, 64, 64, 64]               0
           Conv2d-22           [-1, 64, 64, 64]          36,864
      BatchNorm2d-23           [-1, 64, 64, 64]             128
             ReLU-24           [-1, 64, 64, 64]               0
       BasicBlock-25           [-1, 64, 64, 64]               0
           Conv2d-26          [-1, 128, 32, 32]          73,728
      BatchNorm2d-27          [-1, 128, 32, 32]             256
             ReLU-28          [-1, 128, 32, 32]               0
           Conv2d-29          [-1, 128, 32, 32]         147,456
      BatchNorm2d-30          [-1, 128, 32, 32]             256
           Conv2d-31          [-1, 128, 32, 32]           8,192
      BatchNorm2d-32          [-1, 128, 32, 32]             256
             ReLU-33          [-1, 128, 32, 32]               0
       BasicBlock-34          [-1, 128, 32, 32]               0
           Conv2d-35          [-1, 128, 32, 32]         147,456
      BatchNorm2d-36          [-1, 128, 32, 32]             256
             ReLU-37          [-1, 128, 32, 32]               0
           Conv2d-38          [-1, 128, 32, 32]         147,456
      BatchNorm2d-39          [-1, 128, 32, 32]             256
             ReLU-40          [-1, 128, 32, 32]               0
       BasicBlock-41          [-1, 128, 32, 32]               0
           Conv2d-42          [-1, 128, 32, 32]         147,456
      BatchNorm2d-43          [-1, 128, 32, 32]             256
             ReLU-44          [-1, 128, 32, 32]               0
           Conv2d-45          [-1, 128, 32, 32]         147,456
      BatchNorm2d-46          [-1, 128, 32, 32]             256
             ReLU-47          [-1, 128, 32, 32]               0
       BasicBlock-48          [-1, 128, 32, 32]               0
           Conv2d-49          [-1, 128, 32, 32]         147,456
      BatchNorm2d-50          [-1, 128, 32, 32]             256
             ReLU-51          [-1, 128, 32, 32]               0
           Conv2d-52          [-1, 128, 32, 32]         147,456
      BatchNorm2d-53          [-1, 128, 32, 32]             256
             ReLU-54          [-1, 128, 32, 32]               0
       BasicBlock-55          [-1, 128, 32, 32]               0
           Conv2d-56          [-1, 256, 16, 16]         294,912
      BatchNorm2d-57          [-1, 256, 16, 16]             512
             ReLU-58          [-1, 256, 16, 16]               0
           Conv2d-59          [-1, 256, 16, 16]         589,824
      BatchNorm2d-60          [-1, 256, 16, 16]             512
           Conv2d-61          [-1, 256, 16, 16]          32,768
      BatchNorm2d-62          [-1, 256, 16, 16]             512
             ReLU-63          [-1, 256, 16, 16]               0
       BasicBlock-64          [-1, 256, 16, 16]               0
           Conv2d-65          [-1, 256, 16, 16]         589,824
      BatchNorm2d-66          [-1, 256, 16, 16]             512
             ReLU-67          [-1, 256, 16, 16]               0
           Conv2d-68          [-1, 256, 16, 16]         589,824
      BatchNorm2d-69          [-1, 256, 16, 16]             512
             ReLU-70          [-1, 256, 16, 16]               0
       BasicBlock-71          [-1, 256, 16, 16]               0
           Conv2d-72          [-1, 256, 16, 16]         589,824
      BatchNorm2d-73          [-1, 256, 16, 16]             512
             ReLU-74          [-1, 256, 16, 16]               0
           Conv2d-75          [-1, 256, 16, 16]         589,824
      BatchNorm2d-76          [-1, 256, 16, 16]             512
             ReLU-77          [-1, 256, 16, 16]               0
       BasicBlock-78          [-1, 256, 16, 16]               0
           Conv2d-79          [-1, 256, 16, 16]         589,824
      BatchNorm2d-80          [-1, 256, 16, 16]             512
             ReLU-81          [-1, 256, 16, 16]               0
           Conv2d-82          [-1, 256, 16, 16]         589,824
      BatchNorm2d-83          [-1, 256, 16, 16]             512
             ReLU-84          [-1, 256, 16, 16]               0
       BasicBlock-85          [-1, 256, 16, 16]               0
           Conv2d-86          [-1, 256, 16, 16]         589,824
      BatchNorm2d-87          [-1, 256, 16, 16]             512
             ReLU-88          [-1, 256, 16, 16]               0
           Conv2d-89          [-1, 256, 16, 16]         589,824
      BatchNorm2d-90          [-1, 256, 16, 16]             512
             ReLU-91          [-1, 256, 16, 16]               0
       BasicBlock-92          [-1, 256, 16, 16]               0
           Conv2d-93          [-1, 256, 16, 16]         589,824
      BatchNorm2d-94          [-1, 256, 16, 16]             512
             ReLU-95          [-1, 256, 16, 16]               0
           Conv2d-96          [-1, 256, 16, 16]         589,824
      BatchNorm2d-97          [-1, 256, 16, 16]             512
             ReLU-98          [-1, 256, 16, 16]               0
       BasicBlock-99          [-1, 256, 16, 16]               0
          Conv2d-100            [-1, 512, 8, 8]       1,179,648
     BatchNorm2d-101            [-1, 512, 8, 8]           1,024
            ReLU-102            [-1, 512, 8, 8]               0
          Conv2d-103            [-1, 512, 8, 8]       2,359,296
     BatchNorm2d-104            [-1, 512, 8, 8]           1,024
          Conv2d-105            [-1, 512, 8, 8]         131,072
     BatchNorm2d-106            [-1, 512, 8, 8]           1,024
            ReLU-107            [-1, 512, 8, 8]               0
      BasicBlock-108            [-1, 512, 8, 8]               0
          Conv2d-109            [-1, 512, 8, 8]       2,359,296
     BatchNorm2d-110            [-1, 512, 8, 8]           1,024
            ReLU-111            [-1, 512, 8, 8]               0
          Conv2d-112            [-1, 512, 8, 8]       2,359,296
     BatchNorm2d-113            [-1, 512, 8, 8]           1,024
            ReLU-114            [-1, 512, 8, 8]               0
      BasicBlock-115            [-1, 512, 8, 8]               0
          Conv2d-116            [-1, 512, 8, 8]       2,359,296
     BatchNorm2d-117            [-1, 512, 8, 8]           1,024
            ReLU-118            [-1, 512, 8, 8]               0
          Conv2d-119            [-1, 512, 8, 8]       2,359,296
     BatchNorm2d-120            [-1, 512, 8, 8]           1,024
            ReLU-121            [-1, 512, 8, 8]               0
      BasicBlock-122            [-1, 512, 8, 8]               0
AdaptiveAvgPool2d-123            [-1, 512, 1, 1]               0
          Linear-124                 [-1, 1000]         513,000
================================================================
Total params: 21,797,672
Trainable params: 21,797,672
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.75
Forward/backward pass size (MB): 125.76
Params size (MB): 83.15
Estimated Total Size (MB): 209.66
----------------------------------------------------------------

如果看model输入

summary(model,(3,256,256),device='cuda')
x = torch.randn([1,3,256,256],dtype=torch.float32).to('cuda')
y=model(x)

卷积通道位置问题

pytorch网络输入图片通道在前在后（channel_first和channel_last）的问题见这篇博客

with torch.no_grad()的用法

这个装饰已经看过很多次了，但是其实每次的理解都不太清楚，或者说确实有不同的用法，在这里记录以下。

tenosr.gather()的用法

见此处

小小玺先生
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
torch.randn（1，3，8，9）
qq_45893319的博客
01-23 1920
input = torch.randn(1, 3, 8, 9) print(input) 输出：1这个张量，其中是3个通道，8行，9列的数据（从外面往里面数） tensor([[[[-1.3645, 1.3841, 0.9907, 0.3150, -0.2379, -0.3170, -0.0550, 1.1550, -0.3213], [-0.1501, 1.7308, 1.8265, -1.2117, -0.4732, 0.9322, 0.030
pytorch网络输入图片通道在前在后（channel_first和channel_last）的问题
热门推荐
qq_40877238的博客
05-09 1万+
刚开始学习pytorch卷积神经网络的时候，网络输入要求是batch33232,我们如果想要测试自己电脑上的图片格式为3232*3。即网络要求channel_first,本地图片是channel_last,此时我们只需要使用numpy中的np.transpose()函数调整下通道的顺序即可。代码如下： import numpy as np import cv2 path = r"C:\Users\X_man\Desktop\image\cat.jpg" image = cv2.imread(path,0)
torch中的LayerNorm参数解释以及自定义
qq_38100666的博客
04-08 7163
torch中的LayerNorm参数解释以及自定义
yolov5魔改——ECVblock
acanab的博客
08-24 985
1.ECVBlock模块的作用ECVBlock模块的主要作用是将特征金字塔中的特征分配到不同的目标上，以便更好地检测不同大小的目标。它通过计算每个目标的大小、形状和位置等信息，为每个目标分配一个感兴趣区域（ROI），并将这些ROI与特征金字塔中的特征进行加权融合，以便更好地检测不同大小的目标。2.网络内特征金字塔网络内特征金字塔是YOLOv5中使用的一种特征提取方法。它将输入图像分成多个尺度的特征图，并在每个尺度上使用卷积层进行特征提取。
torch.randn()函数
thy0000的博客
10-05 1万+
函数是PyTorch中用于生成具有正态分布（均值为0，标准差为1）的随机数的函数。：可选参数，用于指定生成的随机张量的数据类型。：可选参数，用于指定生成的随机张量所在的设备。这将创建一个形状为(2, 2)的张量，其中的元素是从均值为2，标准差为0.5的正态分布中随机抽样得到的随机数。：表示生成的张量的形状。：可选参数，如果指定了这个参数，生成的随机张量将会被存储在这个参数指定的张量中。是一个形状为(3, 4)的张量，其中包含了随机生成的标准正态分布的随机数。：可选参数，用于指定生成的随机张量的布局。
Linux系统安装pytorch和torchvision：torch1.8.0+torchvision0.9.0
04-27
在Linux系统上安装PyTorch和torchvision是深度学习开发者常用的操作，特别是在处理计算机视觉...记得根据自己的硬件配置选择合适的CUDA版本，如果在安装过程中遇到问题，查阅官方文档或在线社区通常都能找到解决方案。
torch1.2.0+torchvision0.4.0.rar_pip镜像下载torch
03-15
PyTorch拥有活跃的社区，用户可以在官方论坛、GitHub上获取最新的更新信息、解决遇到的问题，或者分享自己的研究成果。此外，还有丰富的教程和示例代码可供参考学习。 总的来说，PyTorch 1.2.0与torchvision 0.4.0...
Pytorch中torch.nn的损失函数
12-21
这样做的好处是，损失函数可以直接处理未经归一化的线性输入，避免了直接使用BCELoss时可能遇到的数值问题。 三、`torch.nn.MultiLabelSoftMarginLoss(weight=None, size_average=True)` 多标签软边际损失函数...
torch_examples
05-03
1. **README.md**：一个markdown格式的文件，解释了示例集的目的、安装步骤、运行示例的方法以及可能遇到的问题和解决方案。 2. **examples**：一个子目录，包含了多个不同的示例项目，每个项目可能是一个独立的...
torch-1.11.0-cp38-cp38-linux_aarch64.zip
09-18
开发者需要按照"使用说明.txt"的指示，通过Python的pip工具或者其他方法将torch-1.11.0-cp38-cp38-linux_aarch64.whl包安装到他们的Jetson系统中，以便在边缘设备上进行深度学习模型的训练和推理。这使得Jetson设备...
Pytorch 中的Summary和FLOPs统计 使用窍门
不断学习
03-28 2685
Summary和FLOPs统计 使用窍门SummaryFLOPs总结 Summary Summary 中需要输入input_size，如果input其Shape为[256,557]，则其用法和输出结果如下： 用法：summary(model,(557,)) 输出： 同理，如果input的Shape属性为[64,1,28,28]，则其input_size为[1,28,28] FLOPs Summary 中需要输入input_size，如果input其Shape为[256,300]，则其用法和输出结果如下：
torchsummary使用遇到的问题：AttributeError: ‘list‘ object has no attribute ‘size‘解决办法
AI小花猫的博客
06-09 2519
AttributeError: ‘list‘ object has no attribute ‘size‘解决办法
11.23 pytorch预训练模型 与 旧版错误警告
South_Li的博客
11-23 2273
解决：
【python错误】Pytorch1.9 ImportError: cannot import name ‘zero_gradients‘
hallo128的博客
02-03 895
错误：Pytorch1.9 ImportError: cannot import name 'zero_gradients'
pytorch_resnet34模型调用及参数修改
littleiittlehh的博客
04-12 4604
pytorch是包含一些常见的神经网络模型的，ResNet34、ResNet18、VGG等等，都在models模块中，调用接口如下： model = models.resnet34(pretrained=True, progress=True) 预训练pretrained和进度条progress设为True或False就看你自己需求咯～ ⚠️与此同时，你可能还会遇到pytorch官网的输出类别数与你所需不同：你想分七类，可resnet34官网是1000类，那就调整一下呗： # 修改最后线性层的输出通道数
【深度学习基础】PyTorch实现DarkNet-53亲身实践
Cai Yichao的博客
09-28 3227
这篇博客讨论了DarkNet-53的结构，并基于PyTorch实现了它。
torchsummary使用报错问题“ list has no shape“及解决方案
qq_43210029的博客
01-28 309
torchsummary使用经验
pyTorch.randn()、rand()、cat()、pow()、scatter_()、.squeeze() 、.unsqueeze()、gather()
MissingDi的博客
02-17 894
torch.randn() torch.randn(*sizes, out=None) → Tensor 返回一个张量，包含了从标准正态分布(均值为0，方差为 1，即高斯白噪声)中抽取一组随机数，形状由可变参数sizes定义。 参数: sizes(int…): 整数序列，定义了输出形状 out (Tensor, optinal) : 结果张量 例子: >>> torch.r...
关于torch中permute和Transpose 的一点理解
冷月无声的博客
03-19 3825
目录 Tensor.permute（d0,d1,d2,d2) torch.Transpose(Tensor, a,b) 参考PyTorch 高维矩阵转置 Transpose 和 Permute ；这里只讲了 ， 其它相关的函数可参考： 【1】一文掌握torch.squeeze() 和torch.unsqueeze()的用法 【2】pytorch中x = x.view(x.size(...
解决AssertionError Torch not compiled with CUDA enabled问题
最新发布
07-12
当你遇到`AssertionError Torch not compiled with CUDA enabled`这个错误时，它通常意味着你在尝试运行PyTorch中的CUDA加速代码，但是你的Torch安装没有启用CUDA支持。这是因为PyTorch需要编译为支持CUDA才能利用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值