pytorch问题笔记--不定期更新

最新推荐文章于 2024-10-30 21:42:24 发布
最新推荐文章于 2024-10-30 21:42:24 发布
阅读量161 收藏
点赞数
分类专栏： pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/walking_visitor/article/details/120448476
版权

loss为nan

搭建了基于restnet50的多损失行人重识别程序，通过restnet50提取图片特征，在迭代训练过程中出现了LOSS为NAN的情况，观察日志发现最初的几个bitch_size所有的一切都是正常的，从restnet50提取的特征也都是正常的，但在几轮之后，从restnet50提取的特征变开始变成nan。

造成nan的问题有几种可能：

  1. 图片样本的问题--在本次训练中全都同样规格的样本，故排除这个问题
  2. 程序的问题，如某些地方的除法或者log运算导致了nan---认真检查程序没有此问题
  3. 损失太大，导致学习步伐过快----初步怀疑，通过赋予损失权重0.01后，程序正常，至此找到问题所在
walking_visitor
关注
专栏目录
可视化学习笔记11-pytorch-GradCAM可视化自己的网络
LZL2020LZL的博客
09-01 4189
注意：代码中需要改的3个地方已经用注释标清，大家使用时注意修改。super(GradCAM, self) .__init__() # 获取模型的特征提取层 self.feature = nn.Sequential(OrderedDict({name: layer for name, layer in model.named_children() if name not in [ 'avgpool' , 'classifier' ] #改1：根据自己的网络模型架构调整。
解决loss中途出现nan的问题
热门推荐
仲夏
03-07 4万+
参考博文： http://blog.sina.com.cn/s/blog_6ca0f5eb0102wr4j.html https://www.zhihu.com/question/49346370 参考链接：https://www.zhihu.com/question/52242037/answer/184101547
深度学习硬件配置
qq_40425435的博客
06-15 1337
训练ResNet50+FPN时出现问题： Loss is nan, stopping training {'loss_classifier': tensor(nan, device='cuda:0', grad_fn=<NllLossBackward>), 'loss_box_reg': tensor(nan, device='cuda:0', grad_fn=<DivBackward0>), 'loss_objectness': tensor(nan, device='cuda:0
Loss is inf, stopping training
It is me 的博客
07-14 925
Loss is inf, stopping training
Conformer测试
qq_20373723的博客
11-22 1299
在卷积神经网络 (CNN) 中，卷积操作擅长提取局部特征，但难以捕获全局表示。 在本文中，我们提出了一种称为 Conformer 的混合网络结构，以利用卷积运算和自注意力机制来增强表示学习。 Conformer 源于特征耦合单元 (FCU)，它以交互方式融合不同分辨率下的局部特征和全局表示。 Conformer 采用并发结构，最大限度保留局部特征和全局表征
踩坑实录——多光谱影像（.tif）输入深度学习网络训练
weixin_42431141的博客
03-31 1万+
项目场景： 从github下载了fastercnn_Resnet50的目标识别网络，尝试把多光谱影像数据集（.tif）输入进去进行训练，由于本人是刚接触深度学习的小白，网上又没有找到相关教程，只能一边DEBUG一边理解。 问题描述：坑1 原因分析： 经过百度可以知道这是因为PIL不支持.tif多波段图像的读取，在修改网络的时候我有一个原则，就是不修改第三方库的源码，原因是因为我个人功力不够，所以不敢轻易修改，根据报错提示我定位到my_dataset.py文件的image = Image.open(im
RMT的pytorch笔记（不定期更新）
列蒙特的博客
10-07 456
RMT的pytorch笔记序：pytorch是灵活的深度学习开发平台一、数据准备1.1 特殊文件格式简介1.1.1 pkl文件是python的二进制文件1.1.2 npy文件是numpy专用的二进制文件1.1.3 mat文件是matlab的二进制存储文件1.2 数据的预处理1.2.1 归一化将数据映射到0和1之间1.2.2 标准化将数据映射到标准正态分布上1.3 `import`其他脚本以及其他脚本中的函数1.3.1 同根目录的脚本直接导入1.3.2 导入上级目录下的脚本需要修改sys.path1.3.3
使用Google云平台实战基于PyTorch的yolo-v3模型
深度学习与计算机视觉
06-12 856
对于计算机视觉爱好者来说，YOLO (You Only Look Once)是一个非常流行的实时目标检测算法，因为它非常快，同时性能非常好。在本文中，我将共享一个视频处理的代码，以获取视...
Pytorch 常用函数 cheatsheet （不定期更新）
chemcello的博客
08-23 307
Pytorch 常用函数 cheatsheet （不定期更新） 为啥我会做这么一个cheatsheet? 这原本是我自己复现代码时候做的笔记，原本只是想要keep it personal，在写代码的时候方便查阅。但是最近在读James Clear 的《Atomic Habits》深受启发，也开始希望自己平日里的一点点积累能够帮助到和我一样在学习之路上苦修的萌新们。 日后这个cheatsheet会随着我自己的学习进程不定期更新，我也会在适当时候给这些函数做一个归纳和分类，以便逐渐改善阅读体验。 pytorch
“深度学习之巅：在 CentOS 7 上打造完美Python 3.10 与 PyTorch 2.3.0 环境”学习
百态老人的博客
06-10 933
在安装Python 3.10之前，需要确保系统上安装了编译Python所必需的依赖项，如gcc、g++、make、zlib-devel、bzip2-devel、openssl-devel、ncurses-devel、sqlite-devel、readline-devel、tk-devel等。这意味着你可以改变这些指令的默认行为，例如，使用不同的shell或指定特定的shell选项。命令用于将容器的当前状态保存为新的镜像。指令通常在创建基础镜像时使用，它允许你在镜像被用作其他镜像的基础时触发特定的操作。
训练神经网络时train loss或是validation loss出现nan
qq_41663215的博客
08-28 5391
最近使用带有SE block的网络在pytorch框架下做训练。training loss 随着epoch增多不断下降，但是突然到某一个epoch出现loss为nan的情况，但是两三个epoch之后，loss竟然又恢复正常，而且下降了。 这几篇博客是我debug的借鉴，真的非常有用。 这篇介绍了出现nan的基本解决思路。 https://blog.csdn.net/qq_32799915/article/details/80612342 这篇介绍了为什么在多层dense layer之后某一层dense la
神经网络中，loss is nan的可能原因与解决方案
bufengzj的博客
05-12 6242
1. 处理多分类，我采用的是 全连接+relu+最后的softmax 交叉熵加正则化作为loss loss=cem+tf.add_n(tf.get_collection('losses')) 然后，遇到了loss间隔出现nan, 2.尝试解决方案： 1，清除nan数据， 2.https://www.jianshu.com/p/79ea75c47004这篇文章提到relu和softm...
基于Resnet50的pytorch框架下的图像特征提取
Python_print的博客
02-16 1万+
在Resnet50CNN结构下实现图像的特征提取，这里采用的是CV2的图像读入方式，最后再把得到的图像转换成npy格式进行输出得得，图像对应的特征。 # -*- coding: utf-8 -*- """ Function: 图像特征的提取，可以依据需求修改CNN的输出，得到不同层网络的输出图像特征 Writer： Zenght date：2019.2.16 """ from __futur...
基于pytorch的目标检测（rcnn+resnet50，行人数据集）
u012329554的博客
05-29 5044
import torch torch.cuda.is_available() True !pip install cython # Install pycocotools, the version by default in Colab # has a bug fixed in https://github.com/cocodataset/cocoapi/pull/354 !pip install -U 'git+https://github.com/cocodataset/cocoapi.git#su
深度学习-39-基于PyTorch的预训练源模型微调到目标模型的流程
qq_20466211的博客
10-30 309
(1)在源数据集上预训练神经网络模型，即源模型；(2)创建一个新的神经网络模型，即目标模型。这将复制源模型上的所有模型设计及其参数（输出层除外）；(3)向目标模型添加或修改输出层，其输出数是目标数据集中的类别数，然后随机初始化该层的模型参数；(4)在目标数据集上训练目标模型。输出层将从头开始训练，而所有其他层的参数将根据源模型的参数进行微调。
corediff2
最新发布
yyfhq的博客
10-30 933
return embreturn outif in_ch!= out_ch:else:return x# diff])return outreturn xdim = 32nn.GELU(),nn.GELU(),nn.GELU(),nn.GELU(),nn.GELU(),if adjust:else:if adjust:else:if adjust:else:
PyTorch 数据分布函数介绍
qq_27390023的博客
10-30 403
在 PyTorch 中，数据分布函数用于生成满足特定概率分布的数据或对数据执行统计操作。这些函数可以在许多任务中提供帮助，例如初始化神经网络的权重、生成随机输入、进行蒙特卡洛模拟和概率建模。
PyTorch与PyTorch-Lightning构建ANN和CNN模型教程
资源摘要信息: "本资源是一套基于PyTorch和PyTorch-Lightning框架构建的人工神经网络（ANN）和卷积神经网络（CNN）模型，用于处理MNIST手写字符识别数据集。资源包中包含实验报告、源代码以及数据集，并详细描述了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值