pytorch训练过程中出现nan的排查思路

最新推荐文章于 2025-05-02 19:00:00 发布
转载 最新推荐文章于 2025-05-02 19:00:00 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.csdn.net/mch2869253130/article/details/111034068
文章标签：

#pytorch

这篇博客详细探讨了人工智能在信息技术领域的应用，涉及深度学习、自然语言处理和数据挖掘等多个方面。作者分享了最新的研究进展，并提供了实践案例来阐述这些技术的实际效果。此外，还讨论了信息安全和隐私保护的重要性，以及如何在实际项目中实施这些策略。

https://blog.csdn.net/mch2869253130/article/details/111034068

酷暑冷冰
关注
pytorch nan解决方法笔记
jacke121的专栏
10-03 5775
pytorch nan解决方法笔记
记录PyTorch中半精度amp训练出现Nan的排查过程
xu.hyj
12-06 5334
网络的教程来看，在半精度amp训练出现nan问题，无非就是这几种：但是总结起来就三种：先说结论，我使用amp半精度训练，即中间会参杂float16数据类型，加快训练过程。但是本文出现Nan就是因为float16，因为float16支持的最大值在65504，而我的模型中涉及一个矩阵乘法（其实就是transformer中的q@k运算）。其中，a∈[-38,40]，b∈[-39,40]，而矩阵乘法a@b=c，c∈[-61408,inf]。因为a和b的矩阵乘法运算后最大值超过了float16最大表示，造成出现inf
Pytorch训练过程出现nan的解决方式
09-18
今天小编就为大家分享一篇Pytorch训练过程出现nan的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch训练时报nan
体会编程语言独到的美
11-07 1087
介绍Pytorch训练时nan产生后的排查和规避方法。
pytorch训练一段时间突然出现NaN
m0_37192554的博客
10-21 1万+
一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原
【大模型面试每日一题】Day 6：分布式训练中 loss 出现 NaN，可能原因及排查方法？
最新发布
2302_79932616的博客
05-02 1415
✅一句话总结：Loss 出现 NaN 是训练过程中常见但棘手的问题，需从梯度、参数、数据、算子、分布式等多个角度系统性排查。建议在训练初期就集成自动检测机制，结合日志、可视化和人工验证手段构建完整的防护体系。
【机器学习技巧】-训练过程中，loss参数出现NAN怎么解决？解决方案汇总？
热门推荐
小坏蛋的博客
03-26 1万+
深度神经网络在训练过程中，loss参数出现NAN怎么解决？解决方案？
pytorch 交叉熵损失 出现nan
junjian Li
05-15 1788
1. 问题描述 代码如下: norm_ff = ff / (ff**2).sum(0, keepdim=True).sqrt() coef_mat = torch.mm(norm_ff.t(), norm_ff) coef_mat.div_(self.tau2) L_fd = F.cross_entropy(coef_mat, y) 这是因为计算图中存在.sqrt()，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 2. 解决方法 2.
Pytorch 查询笔记 持续更新
轮子去哪儿了
03-18 303
文章目录1. pytorch中 max()、view()、 squeeze()、 unsqueeze() 的区别2. torchvision.transforms.ToPILImage / ToTensor 通道的变化 1. pytorch中 max()、view()、 squeeze()、 unsqueeze() 的区别 链接 查询时间：2019年3月15日10:17:46 max() 求行或...
pytorch损失值nan或者model输出nan或者inf的相关问题
qq_44108731的博客
12-24 3115
现象和原因分析 在能确定模型正常的情况下，可能是优化器没有设置正确，一定要加上weight decay的正则化项，和时间衰减的学习率； 也有可能是学习率太大，梯度爆炸 也可以添加权重初始化项。 optimizer = torch.optim.SGD(model.parameters(), lr=params.LR, weight_decay=0.00001) lr_scheduler = torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones=p
pytorch 生成结果为NAN值
pp2373886592的博客
01-22 1859
原因：计算loss时，使用了torch.sqrt()，而输入参数中包含0，导致梯度爆炸 解决方法：去掉torch.sqrt()或保证该函数输入参数不含0
pytorch中对于tensor的一些骚操作
weixin_38530843的博客
11-04 208
加粗样式 https://blog.csdn.net/jizhidexiaoming/article/details/94603558
Pytorch tensor避免nan解决办法
weixin_38076506的博客
02-17 7695
使用pytorch处理数据运算是，如矩阵涉及乘除法，如矩阵中存在nan数据，则结果中存在nan，解决方案是使用torch.where()将nan值替换为0或其他值： torch.where(torch.isnan(a), torch.full_like(a, 0), a)
pytorch RNN训练loss出现nan
Shenquanle的博客
10-02 1311
我是通过打断点判断出来的。 （1）利用torch.any(torch.isnan(input))判断自己所有的输入是否有问题（我发现我的输入tensor中有一维的特征有nan，是因为最大最小值归一化的时候，max和min是同一个数，造成除数为0，结果产生了nan，LSTM、GRU学出来的全是nan） （2）输出网络中每一层的输出，看看nan是哪里产生的（我是在输入和LSTM/GRU单元部分产生的） （3）找到nan的原因，解决掉nan ...
pytorch训练时前一次迭代的loss正常后一次迭代却报nan
Michael’s Blog
05-28 3570
问题描述：训练一个有四个阶段模型的网络（可以简单理解每一阶段就是一个卷积层），每阶段输出都会进行loss计算。现将pytorch原始的ce loss改为focal loss后，网络训练了数个迭代后loss 报nan。输入数据检查过没有问题，报nan时的前一个迭代的loss是正常的。报nan的当前迭代，第一个阶段所有的卷积参数都已经是nan了。 一、问题排除 因为查看过数据，完全没有问题，排除输入 因为参数在报nan时已经是nan了，不是前向问题 前一次迭代loss完全没问题，可能不是bp的问题，但是还没有
pytorch半精度训练时出现nan的情况
lppfwl的博客
11-04 3058
最近在训练bert模型的时候，因为gpu内存不足，就想着用半精度训练的方式来降低内存占用，加速训练，但是训练几百个batch之后，就出现模型输出为nan的情况，但是之前用单精度float32训练的时候就没出现过这个问题。 一点点去查看之后，发现是在某个batch更新之后，模型embedding层的权重参数变成了nan，在网上查了一些资料之后终于解决这个问题了，这里记录一下： １.由于我的优化器使用的是adam算法，在用半精度训练的时候需要torch.optim.Adam中加入参数eps=1e-3，否则就有可
训练中pytorch出现nan的两种情况
qq_30735079的博客
07-28 2242
1.训练结束之后忽略添加relu导致出现了负数，这回导致开根号的时候出现inf，然后出现nan 2.loss函数中有开根操作，而网络输出有0，导致结果无穷大，对有0的位置添加1e-9这种极小值可以防止无穷大的产生。 ...
pytorch训练过程中loss变成nan
m0_37500540的博客
06-30 1056
在计算损失函数的时候有个log()函数，如果log(0)就会nan.所以一般会加上一个很小的数防止0的出现。 例如eps=1e-12 但当模型使用半精度的时候0+eps=0。所以就出现了错误。
PyTorch 训练中的 Exit 134
04-25
### PyTorch 训练过程中 Exit 134 错误的原因分析 Exit 134 是一种常见的程序崩溃信号，通常表示程序因非法操作而终止运行。这种错误可能是由多种原因引起的，包括但不限于内存访问越界、指针未初始化、CUDA 内存分配失败或其他硬件资源不足等问题。 以下是可能导致该问题的具体原因以及解决方案： #### 1. **GPU/CPU 内存不足** 如果模型过大或者批量大小设置过高，可能会导致 GPU 或 CPU 内存耗尽，从而引发退出码 134 的错误[^2]。 - 解决方案：减少批量大小（batch size），优化模型结构以降低显存占用。 - 可通过以下方式监控显存使用情况： ```bash nvidia-smi ``` #### 2. **数据预处理中的 NaN 值** 输入数据中可能存在 `NaN` 或者无穷大值 (`inf`)，这会干扰模型的正常训练过程并触发异常行为[^2]。 - 使用 NumPy 检查是否有无效数值： ```python import numpy as np if np.any(np.isnan(input_data)): raise ValueError("Input data contains NaN values.") if np.any(np.isinf(input_data)): raise ValueError("Input data contains infinite values.") ``` #### 3. **损失函数配置不当** 某些特定类型的损失函数可能对目标值有严格的要求。例如，在使用交叉熵损失时，标签应为整数类别索引；而在使用均方误差（MSE）时，则需确保预测值和真实值在同一范围内。 - 验证 loss 函数是否适配当前任务需求，并调整其参数设定。 #### 4. **CUDA 运算错误** 当启用 CUDA 加速时，任何与 GPU 相关的操作都可能发生潜在风险，尤其是涉及张量形状不匹配或超出设备能力范围的情况。此外，多线程或多进程环境下的同步机制也可能成为隐患之一[^1]。 - 尝试禁用 CUDA 并切换到纯 CPU 模式重新测试流程： ```python device = torch.device('cpu') model.to(device) ``` - 如果仍然存在问题，则进一步排查代码逻辑缺陷。 #### 5. **第三方库冲突** 构建项目依赖项期间指定选项不合理亦或是版本兼容性不佳都会影响最终执行效果。例如 OpenCV 路径定义错误便会造成链接阶段失败[^1]。因此建议仔细核验 CMakeLists.txt 文件内容及其传递给编译器的各项标志位准确性。 --- ### 总结 针对上述提到的各种可能性逐一验证直至定位根本诱因所在为止。同时注意保存好每次修改后的备份以便回滚至稳定状态前的状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值