bug解决：AssertionError: No inf checks were recorded for this optimizer.

已于 2023-08-13 01:25:56 修改
阅读量2.3k 收藏 3
点赞数 3
文章标签： bug
于 2023-08-13 01:25:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52945258/article/details/132256026
版权
文章描述了解决PyTorch使用混合精度训练时遇到NaN问题的经过，作者在遇到难题后发现相关解决方案并分享以便他人参考。
摘要由CSDN通过智能技术生成

这真的是最恶心的一个error（比网络回传找哪层没有传播到还要恶心！），找了好久的问题所在之处，最后偶然发现了这篇文章：

解决pytorch半精度amp训练nan问题 - 知乎

 然后发现自己用的混合精度训练，发现问题解决问题，谨此记录，方便查阅。

睡觉，晚安！

蜡笔新小
关注
QLORA:量化LLMA的有效微调
AI浩
06-28 2946
我们提出了QLORA，这是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到Low RankAdapters (LoRA)中。我们最好的模型家族，我们命名为Guanaco，在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。
java.lang.AssertionError: assertion failed: No plan for HiveTableRelation的解决方法
Lestat.Z.的博客
05-13 5508
前言 在使用pyspark跑sparksql的时候出现了类似如下的错误： java.lang.AssertionError: assertion failed: No plan for HiveTableRelation .... 一般来说这种错误的产生是因为在创建SparkSession对象的时候HiveContext没有被启用。 查了一下代码， 果不其然： #In python spark ...
解决AssertionError: No inf checks were recorded for this optimizer
weixin_44904435的博客
10-17 1809
我把代码里的embedding数据类型都输出 一遍，全都改了，发现还是报错，才发现如果设置了trainer的这个yaml文件，也得改。在torch.cuda.amp.grad_scaler.py里面有这段注释。大概意思即float16会溢出，全部换成float32即可。将float16转换为float32，可通过to()函数。
FastReID使用教程、踩坑记录
胭脂草的ABC博客
05-10 1423
近期在尝试使用，期间对FastReID架构、损失函数、数据集准备、模型训练/评估/可视化/特征向量输出、调试debug记录等进行记录。
“No inf checks were recorded for this optimizer.“ AssertionError:错误解决
小姑仔的博客
03-19 5708
"No inf checks were recorded for this optimizer." 错误解决
Pytorch——报错解决：No inf checks were recorded for this optimizer.
Irving.Gao的博客
11-18 5407
报错解决：No inf checks were recorded for this optimizer.
No inf checks were recorded for this optimizer
记录/交流，加油啊呀...
12-20 770
直接pip install torch，导致cuda版本与pytorch版本不匹配，去官网下载对应cuda版本的pytorch解决问题。
No inf check was recorded for this optimizer. 使用BLIP-2（LAVIS）库的NaN问题
MadChiang的博客
11-06 427
这里最关键的是model.extract_features()这个函数，题主是使用该函数提取特征用于多模态检索的代理任务，提取到的特征经过一定的处理后输入损失函数，用于计算损失，在损失计算，自动求道，梯度回传之后，在scaler.step(optimizer)这一步出错。在使用BLIP-2预训练模型用来提取特征时，遇到的一些问题，没有梯度的问题，参照BLIP-2 feature extraction的示例文件。
Pytorch编程错误与解决方案
hongseqijian2009的博客
05-30 1274
Pytorch编程错误
scrcpy投屏 AssertionError: java.lang.reflect.InvocationTargetExcep
02-18
总的来说，解决"AssertionError: java.lang.reflect.InvocationTargetException"问题通常需要排查多个方面，包括软件版本、设备兼容性、驱动程序和权限设置等。根据描述，更换Scrcpy的特定版本可能是最直接有效的...
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id ...以上这篇解决pytorch报错:AssertionError: Invalid device id的问题就是小编分享给大家的全部内容了，
成功解决：AssertionError: Torch not compiled with CUDA enabled
热门推荐
m0_74890428的博客
04-16 7万+
在运行pycharm项目的时候，出现了AssertionError: Torch not compiled with CUDA enabled，主要可以归结于以下两个个方面： 1、没有安装GPU版本的pytorch，只是使用清华的镜像地址下载了CPU版本的pytorch 2、安装的CUDA和安装的pytorch的版本不相互对应
记录Pytorch中遇到的问题
anshiquanshu的专栏
09-18 4376
突然发现之前遇到的问题是容易反复遇到的，那就随手做一个整理吧~ 1. 在feature层到classifier层中，若出现如下错误： 则需要改变FC层的入口参数，如此图中可以改为： x = x.view(out.size(0), -1) self.linear = nn.Linear(320, 10) # 320为入口参数 2. 训练中training accuracy有变化，但test accuracy始终为10%(图片分类)： 可能是由于learning rate太大导致的，如lr=0.
optimizer注意点
菜鸟起飞
12-02 2688
转载：https://blog.csdn.net/gdymind/article/details/82708920 重点是这句： 注意，如果想要使用.cuda()方法来将model移到GPU中，一定要确保这一步在构造Optimizer之前。因为调用.cuda()之后，model里面的参数已经不是之前的参数了。 以下是原文 与优化函数相关的部分在torch.optim模块中，其中包含了大部分现在已有的流行的优化方法。 如何使用Optimizer 要想使用optimizer，需要创建一个opt.
kaggle中的minist训练模型时遇到的“AssertionError: AbstractConv2d Theano optimization failed: ”
qq_42781616的博客
12-27 2532
如果你不想看话废，解决办法展示的相当简单粗暴，一眼尽现，自己看吧！ 在minist比赛中有一个非常好的内核 https://www.kaggle.com/yassineghouzam/introduction-to-cnn-keras-0-997-top-6 还有中文译版： https://blog.csdn.net/liutianheng654/article/details/81123...
HiveSQL报错AssertionError
gaofeng的博客
05-31 3225
sql执行报错 Error running query: java.lang.AssertionError: Internal error: While invoking method 'public org.apache.calcite.sql2rel.RelFieldTrimmer$TrimResult org.apache.hadoop.hive.ql.optimizer.calcite.rules.HiveRelFieldTrimmer.trimFields(org.apache.calcite.r
SQL Server 2016中的查询优化器更改说明
culuo4781的博客
07-24 765
描述 (Description) SQL Server 2016 includes a variety of query optimizer enhancements. Some of these have existed since the first previews while others were added later. This is an opportunity to...
『功能项目』QFrameWorkBug修改器界面【65】
最新发布
weixin_69360830的博客
09-19 658
制作Bug修改器会对物品进行增加与减少 后续文章会对人物属性值进行更改
怎么解决：AssertionError: Torch not compiled with CUDA enabled
03-10
当你在使用PyTorch时遇到"AssertionError: Torch not compiled with CUDA enabled"错误时，这通常是由于PyTorch没有启用CUDA支持导致的。CUDA是NVIDIA提供的用于加速深度学习计算的平台，它依赖于NVIDIA的GPU。 要解决这个问题，你可以尝试以下几个步骤： 1. 确保你的计算机上安装了NVIDIA的GPU，并且已经正确安装了NVIDIA驱动程序。你可以通过运行`nvidia-smi`命令来检查GPU是否正常工作。 2. 确保你已经正确安装了CUDA工具包。你可以从NVIDIA官方网站下载适合你的GPU和操作系统的CUDA版本，并按照官方文档进行安装。 3. 确保你已经正确安装了与CUDA版本相匹配的PyTorch。你可以在PyTorch官方网站上找到适合你的CUDA版本的PyTorch安装命令，并按照官方文档进行安装。 4. 如果你已经按照上述步骤进行了操作，但仍然遇到该错误，可能是因为PyTorch编译时没有正确启用CUDA支持。在这种情况下，你可以尝试重新编译PyTorch并启用CUDA支持，或者尝试使用预编译的PyTorch版本。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值