Pytorch调试过程中的BUG

最新推荐文章于 2024-08-23 16:49:02 发布
最新推荐文章于 2024-08-23 16:49:02 发布
阅读量2.1k 收藏 3
点赞数 2
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43850408/article/details/105739906
版权

Pytorch调试过程的BUG

1.损失函数的loss向量对不上

// An highlighted block
var foo = 'bar';Traceback (most recent call last):
  File "train.py", line 182, in <module>
    val_percent=args.val / 100)
  File "train.py", line 81, in train_net
    loss = criterion(masks_pred, true_masks)
  File "/public/home/lidd/.conda/envs/lgg/lib/python3.6/site-packages/torch/nn/modules/module.py", line 477, in __call__
    result = self.forward(*input, **kwargs)
  File "/public/home/lidd/.conda/envs/lgg/lib/python3.6/site-packages/torch/nn/modules/loss.py", line 862, in forward
    ignore_index=self.ignore_index, reduction=self.reduction)
  File "/public/home/lidd/.conda/envs/lgg/lib/python3.6/site-packages/torch/nn/functional.py", line 1550, in cross_entropy
    return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)
  File "/public/home/lidd/.conda/envs/lgg/lib/python3.6/site-packages/torch/nn/functional.py", line 1409, in nll_loss
    return torch._C._nn.nll_loss2d(input, target, weight, _Reduction.get_enum(reduction), ignore_index)
RuntimeError: invalid argument 3: only batches of spatial targets supported (3D tensors) but got targets of dimension: 4 at /opt/conda/conda-bld/pytorch_1533672544752/work/aten/src/THNN/generic/SpatialClassNLLCriterion.c:59

这里的意思是计算损失函数的时候，target支持为3维向量，而这里得到的是四维向量。

输入向量：[batch-size,7,H,W]
输出向量：[batch-size,1,H,W]

那么到底哪里是应该抛弃的维度呢？
Pytorch官方文档 CrossEntropyLoss

在这里插入图片描述
红框内为输入向量维度，蓝框内为目标向量维度。
所以我们应该把输入向量，输出向量的维度修改为。

输入向量：[batch-size,7,H,W]
输出向量：[batch-size,H,W]

2.测试过程中向量维度不符合要求

// An highlighted block
Traceback (most recent call last):                                                                                                                        
  File "train.py", line 182, in <module>
    val_percent=args.val / 100)
  File "train.py", line 99, in train_net
    val_score = eval_net(net, val_loader, device)
  File "/public/home/lidd/lgg/Pytorch-UNet-master/eval.py", line 25, in eval_net
    tot += F.cross_entropy(mask_pred, true_masks).item()
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/nn/functional.py", line 2009, in cross_entropy
    return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/nn/functional.py", line 1840, in nll_loss
    ret = torch._C._nn.nll_loss2d(input, target, weight, _Reduction.get_enum(reduction), ignore_index)
RuntimeError: invalid argument 3: only batches of spatial targets supported (3D tensors) but got targets of dimension: 4 at /tmp/pip-req-build-ocx5vxk7/aten/src/THNN/generic/SpatialClassNLLCriterion.c:61

修改测试过程中的向量维度。

3.语法错误

// An highlighted block
(lgg) [lidd@login03 Pytorch-UNet-master]$ python train.py -b=8
INFO: Using device cpu
INFO: Network:
        1 input channels
        7 output channels (classes)
        Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
        Epochs:          5
        Batch size:      8
        Learning rate:   0.001
        Training size:   782
        Validation size: 86
        Checkpoints:     True
        Device:          cpu
        Images scaling:  1
    
Epoch 1/5:   0%|                                        | 0/782 [00:00<?, ?img/s]
Illegal instruction (core dumped)

报错非法指令。
解决方案：重新安装环境后解决。

4.Batch-size=n训练过程中loss突然变成0

// loss 突然变成0
python train.py -b=8
INFO: Using device cpu
INFO: Network:
        1 input channels
        7 output channels (classes)
        Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
        Epochs:          5
        Batch size:      8
        Learning rate:   0.001
        Training size:   782
        Validation size: 86
        Checkpoints:     True
        Device:          cpu
        Images scaling:  1
    
Epoch 1/5:  10%|██████████████▏                                                                                                                            | 80/782 [01:33<13:21,  1.14s/img, loss (batch)=0.886I
NFO: Validation cross entropy: 1.86862473487854                                                                                                                                                                  
Epoch 1/5:  20%|███████████████████████████▊                                                                                                            | 160/782 [03:34<11:51,  1.14s/img, loss (batch)=2.35e-7I
NFO: Validation cross entropy: 5.887489884504049e-10                                                                                                                                                             
Epoch 1/5:  31%|███████████████████████████████████████████▌                                                                                                  | 240/782 [05:41<11:29,  1.27s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  41%|██████████████████████████████████████████████████████████                                                                                    | 320/782 [07:49<09:16,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  51%|████████████████████████████████████████████████████████████████████████▋                                                                     | 400/782 [09:55<07:31,  1.18s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  61%|███████████████████████████████████████████████████████████████████████████████████████▏                                                      | 480/782 [12:02<05:58,  1.19s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  72%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋                                        | 560/782 [14:04<04:16,  1.15s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 640/782 [16:11<02:49,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 720/782 [18:21<01:18,  1.26s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 736/782 [19:17<01:12,  1.57s/img, loss (batch)=0]
Traceback (most recent call last):
  File "train.py", line 182, in <module>
    val_percent=args.val / 100)
  File "train.py", line 66, in train_net
    for batch in train_loader:
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 819, in __next__
    return self._process_data(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 846, in _process_data
    data.reraise()
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/_utils.py", line 385, in reraise
    raise self.exc_type(msg)
RuntimeError: Caught RuntimeError in DataLoader worker process 4.
Original Traceback (most recent call last):
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
    data = fetcher.fetch(index)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 47, in fetch
    return self.collate_fn(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in default_collate
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in <dictcomp>
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate
    return torch.stack(batch, 0, out=out)
RuntimeError: Expected object of scalar type Double but got scalar type Byte for sequence element 4 in sequence argument at position #1 'tensors'

分析问题：
训练的loss和测试的loss初始没有问题。
问题关键出在训练中，出现了loss突降的原因。

5.Batch-size=1训练过程中loss跳动

// An highlighted block
(lgg2) [lidd@login03 Pytorch-UNet-master]$ python train.py -b=1
INFO: Using device cpu
INFO: Network:
        1 input channels
        7 output channels (classes)
        Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
        Epochs:          5
        Batch size:      1
        Learning rate:   0.001
        Training size:   782
        Validation size: 86
        Checkpoints:     True
        Device:          cpu
        Images scaling:  1
    
Epoch 1/5:  11%|█████████████▉                                                                                                                 | 86/782 [02:12<12:41,  1.09s/img, loss (batch)=0.0636]          I
NFO: Validation cross entropy: 0.05946924779997315                                                                                                                                                               
Epoch 1/5:  22%|███████████████████████████▍                                                                                                 | 172/782 [04:52<10:44,  1.06s/img, loss (batch)=1.15e-8]          I
NFO: Validation cross entropy: 3.730315458357298                                                                                                                                                                 
Epoch 1/5:  33%|█████████████████████████████████████████▏                                                                                   | 258/782 [08:16<25:50,  2.96s/img, loss (batch)=5.31e-9]          I
NFO: Validation cross entropy: 2.2019995843036284                                                                                                                                                                
Epoch 1/5:  44%|██████████████████████████████████████████████████████▉                                                                      | 344/782 [13:43<21:47,  2.98s/img, loss (batch)=7.86e-9]          I
NFO: Validation cross entropy: 1.200446563662029                                                                                                                                                                 
Epoch 1/5:  54%|████████████████████████████████████████████████████████████████████▏                                                         | 423/782 [18:43<10:34,  1.77s/img, loss (batch)=6.7e-9]

应该随机梯度下降不稳定的原因。

他们叫我一代大侠
关注
指南 3：在 PyTorch 中调试
t631791611的博客
07-30 144
然而，在某些情况下，PyTorch 不会抛出错误，因为未对齐的维度（不幸的是）具有相同的大小。如果你接受输入x尺寸的B \times d_{in}（B是批量维度），并且在您的超参数设置中， B=d_{in}，您最终可能会在错误的维度上执行矩阵乘法，而 PyTorch 未检测到它。在上面的语言示例中，模型会认为“a”比“o”更接近“b”，尽管“a”和“o”都是人声，并且“a”和“b”的接近程度并不相同。如果您定义类似 的参数，您的模型将不会在 GPU 上注册该参数，因为“.to”运算符会创建一个新的张量。
Pytorch基础学习（第五章-Pytorch训练过程）
Billie使劲学的博客
04-02 2760
课程一览表： 一、TensorBoard简介与安装 1.TensorBoard简介 本节学习迭代训练 TensorBoard：TensorFlow中强大的可视化工具 支持标量、图像、文本、音频、视频和Embedding等多种数据可视化 运行机制： 代码： 记录可视化数据并保存到硬盘中 import numpy as np from torch.utils.tensorboard import SummaryWriter #记录可视化数据 writer = Summar.
Pytorch - Illegal instruction
czw0723的博客
11-28 617
一般就是因为自己下载的是GPU版本的pytorch，所以需要将变量和model搬到GPU上才可以运行下去，如果不想这样可以用annaconda安装一个CPU版本的pytorch也可以的。 from torch.autograd import Variable import torch.nn as nn import torch conv1 = nn.Conv1d(in_channels=256,out_channels = 100, kernel_size = 2) input = torch.rand
安装pytorch后报错非法指令Illegal instruction (core dumped)
Adrianna的专栏
08-03 1万+
环境： unbuntu 14.04 anaconda3 cuda:7.5 CPU:AMD 安装方法： 根据官网： conda install pytorch torchvision -c soumith 报错import torch x=torch.Tensor(5,3) print(x)Illegal instruction (core dumped)一般来说，SIGILL 错误在b
pytorch 交叉熵损失详解
最新发布
qq_44911284的博客
08-23 131
H(P,Q) = -∑ P(x) * log(Q(x))，其中P和Q分别表示两个概率分布，P(x)表示事件x在真实分布中的概率，Q(x)表示事件x在预测分布中的概率，log表示自然对数。对 生成的预测， 3,3 在 预测的维度上使用softmax归一化，然后得到了三个样本的 0~1 ,然后使用log函数对预测值取log ,然后再 NLLloss。pytorch中的 nn.CrossEntropyLoss() 计算得到的结果与 softmax-log-NLLLoss计算得到的结果是一致的。
Pytorch Illegal instruction 解决（鸵鸟战术）
qq_40491305的博客
06-17 2415
Pytorch - Illegal instruction 解决（鸵鸟战术） 运行环境为 anaconda3 下的虚拟环境： Python3 + cuda9.0 + Pytorch1.1.0 运行代码利用网络 net 对输入数据 x 求解时，即运行 net(x) 时出现 Illegal instruction (core dumped) 利用 anaconda 虚拟环境 python2.7 及其 Pytorch 运行相同代码，正确运行，表明当前环境有问题 查找网上解决方案，环境与 CPU 不符合，需要重
Illegal instruction (core dumped)
热门推荐
奋斗是一种追求
09-18 2万+
前两天在部署时发现这个错误，“Illegal instruction (core dumped)”。 经过在服务器上反复测试，最后发现是我本地程序在服务器的cpu上无法执行，主要是由于pytorch中max函数造成的。需要将这种格式先转成numpy格式才能执行，经过一番修改，最后终于搞定。 修改前代码： conf, j = x[:, 5:].max(1, keepdim=True) 修改后代码： x_numpy=x.detach().numpy() conf = x_numpy[:, 5:].max(
Jetson TX2 Python PyTorch Illegal Hardware Instruction (Core Dumped) 解决方法
Ayka的博客
12-17 1875
该问题在网上多数帖子认为是 NumPy 的问题，但是无论是安装 numpy==1.19.4（参考Illegal instruction (core dumped) on import for numpy 1.19.5 on ARM64 · Issue #18131 · numpy/numpy (github.com)） pip3 install numpy==1.19.4 还是编译安装 numpy==1.19.5 pip install --no-binary :all: numpy==1.19.
Pytorch代码调试工具--torchsnooper
CV技术指南（微信公众号）
12-17 1065
导言： “RuntimeError: Expected object of scalar type Double but got scalar type Float”，这样的错误想必无数次在运行时出现，代码调试是一个十分头疼的问题，头疼归头疼，但总要解决。有些错误从提示就能看出在哪有问题，但要解决这个问题，却不一定是在提示的地方改代码。 解决这类问题的最好方法就是在输出完整的过程，查看运行过程中每一行代码中参数的类型，shape等。从而快速、精确定位到需要改的地方。 tor...
PyTorch | PyTorch实战过程中遇到的问题记录与总结
兰胖子的博客
02-22 5910
本篇的普适度不高，都是我个人在一个特定项目中遇到的问题的记录，以防再次出现相同错误时，还要花费力气去查找。 你可以试着用ctrl+F，输入你想要搜索的关键词，快速确定这里有没有你想要的信息。Have a nice day ^-^ RuntimeError: Dimension out of range (expected to be in range of [-1, 0], but got 1...
pytorch pruning训练自己的数据库（流程+BUG调试）
qq_23225921的博客
12-16 3807
环境要求pytorch 0.1 ，pytorch0.2版本会有问题，解决方法会在后文介绍。 本文主要对运行pytorch pruning的整个流程以及过程中会出现的问题的介绍。
运行python程序出现illegal instruction (core dumped)
weixin_43137437的博客
12-14 1923
将原来的pip 安装的tensorflow卸载，采用conda重新安装问题解决！！！
NVIDIA Jetson xavier上面安装完llvmlite后，import torch时报错,Illegal instruction (core dumped)
weixin_44034199的博客
10-17 212
【代码】NVIDIA Jetson xavier上面安装完llvmlite后，import torch时报错,Illegal instruction (core dumped)
error:Illegal instruction (core dumped),离线下载安装这个other版本numpy
pvmsmfchcs的博客
08-02 634
记录一个错误：我首先安装的matplotllib，然后它自动安装了numpy的最新版本，接着我不能打开torch了，卸载numpy就可以了。需要换个numpy版本安装，出现这个问题的原因，是numpy的这个版本和我的torch版本不兼容导致的。...
【实验记录】pytorch /unet
weixin_44892610的博客
07-03 383
github地址 py>=3.6 data Carvana Train 在pycharm上打开整个项目，首先更改Train.py中的data地址（自己的数据下在哪里，直接复制地址粘贴） dir_img = '/home/koihoo/data/carvana/train/' dir_mask = '/home/koihoo/data/carvana/train_masks/' dir_checkpoint = 'checkpoints/' 打开pycharm终端，输入python train
illegal instruction (core dumped)
Magic_SpongeBob的专栏
03-17 1万+
最近在虚拟机节点上装tensorflow，发现出现如下问题，谷歌也发现答案很少：说一下系统是ubuntu 16.04的，后来想想降级试试：pip uninstall tensorflow pip install tensorflow==1.5发现成功：...
pytorch CPU推理时出现‘非法指令 (核心已转储)’
怡宝2号
12-04 2706
这好像是CPU太老了，不支持的缘故，换了一台I7的cpu就可以了。 可以参考： Ubuntu下import tensorflow显示非法指令（核心已转储）解决方案
pytorch 损失函数教程(2) torch.nn.NLLLoss
qq_41724804的博客
06-15 1061
pytorch 损失函数教程系列
IndexError: Target 25 is out of bounds.
weixin_43495948的博客
06-12 2214
原因 这主要是因为底层调用来计算损失的时候，你的类别数和你的网络输出层数是不相同，如果一定要重点关注这个数字（我这里是25，你的也许不是），这是因为我所参照的代码原作者所提供的类别数是25，我自己后面的换成了70解决办法 我找到我模型的传入参数的地方，num_class的值由25改为70，如果你自己这里没有num_class，建议看哈代码那里有那个数字，我这里是25，找到代码中25的地方，换成你自己的数字试一试，但关键点还是要搞清楚你自己的类别数和网络输出层的数。 如果你有任何疑问欢迎和我一起交流：d_zh
视网膜血管分割pytorch代码
07-28
如果你在使用过程中遇到bug或者有任何问题，你可以提issue，作者会尽快进行调试和更新代码。此外，作者也计划复现一些经典和SOTA的视网膜血管分割模型。其中，该项目使用了U-net网络结构，这是一种专门针对医学影像...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值