LibTorch使用GPU训练时损失值NaN问题

最新推荐文章于 2023-03-25 20:28:44 发布
最新推荐文章于 2023-03-25 20:28:44 发布
阅读量417 收藏
点赞数
分类专栏： 编程记录 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39969166/article/details/117291482
版权

可能原因是你的显卡有问题 ->你的显卡可能为矿卡 内部被魔改过 建议换一张显卡试试

InfiniteChaos
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
vs+libtorch（环境配置以及部署），包含batch推理，FP16推理
07-22
内容：vs+libtorch（环境配置以及部署），包含batch推理，FP16推理。 适合人群：libtorch初学者，模型部署应用者， 使用场景：工业缺陷检查或学生学习
pytorch使用指定GPU训练的实例
09-18
今天小编就为大家分享一篇pytorch使用指定GPU训练的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
09-16
主要介绍了解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
win10+rtx4070ti深度学习环境（cuda 11.7、cudnn8.6.0、libtorch1.13.1+cu117）
02-14
使用rtx4070ti跑深度学习算法与部署c++环境,cuda及libtorch太大无法上传，文章中附带官方链接
C++实现opencv+yolo+tensorflow+deepsort.txt
07-30
C++实现opencv+yolo+tensorflow+deepsort检测，网上都是python的，用c++重写的，库全部配置好，需要cuda9.0，cudnn7，tensorflow使用的1.12.0gpu，已在工程中配置好。下载即用。文件太大，已记录百度云链接，资源有问题请加文本中的qq
使用`amp`进行GPU运算优化的学习笔记（会出现nan）
墨门
06-22 2397
Keywords: amp AMP示例代码
c++调用pytorch模型出现精度损失和精度上升
qq_33618366的博客
12-07 1043
是Pytorch读图问题，PyTorch读图使用的是PIL库中的OPEN( )函数，读取的彩色图像的顺序是RGB；OpenCV的读图方式是imread( )函数，读取的彩色图像的顺序是BGR。要想将精度保持一致，需要将通道进行转换，在OpenCV读取BRG图像后加入函数cvtColor()，将通道调整为RGB顺序；或者在Pytorch中使用函数将RGB调整为BGR。要点是：保证图像在进入网络前的图像通道顺序一致，最后测试精度就会保持一致了。将模型pth文件转化为pt文件 : jit. trace。...
踩坑：Libtorch实现U-net在C++上对BraTS2019数据集的分割任务部署
步履不停
04-15 3053
根据项目组要求，最近用Pytorch完成了U-net训练BraTS2019数据的任务，输出模型并在C++上重现部署，简单说说我遇到的坑，可按目录浏览： libtorch中大大小小的坑：- 模型转换问题- tensor是nan的值- 输出结果只有部分的一块 - 模型转换问题 步骤1：先在pytorch验证你的模型(.pth)是否能够重现结果，一般来讲都可以成功复原的，这一步很重要，在C++上重现时最...
libtorch c++部署-使用GPU
热门推荐
alex1801
10-28 1万+
1、引用关系 以vs下libtorch引用CUDA为例： 包含目录： libtorch_dir/include libtorch_dir/include/torch/csrc/api/include 库目录： libtorch_dir/lib 动态库： c10.lib c10_cuda.lib torch_cpu.lib torch_cuda.lib 测试代码： #include<iostream> #include<torch/script.h> #inc
yolov7+win10+libtorch+GPU+VS2019训练自己的数据并且C++进行部署
db7328537的博客
09-21 5581
美团发布yolov7已经有一段时间了，在此期间，由于工作的原因一直都没有进行尝鲜，等自己空下来的时间研究一下，发现网上针对yolov5的比较多，针对我这种第一次接触深度学习框架的小白来说，训练自己的数据集并不是很难，但是在C++部署部分碰到了很大的难点。经过上述的步骤后，就可以训练出自己的模型文件了，然后利用yolov7-main下面的export.py文件将自己刚训练的模型导出为best.torchscript.pt模型，这个模型就是我们后面libtorch调用的模型。我就是在这里卡住了很久一段时间。
pytorch使用horovod多gpu训练的实现
09-16
主要介绍了pytorch使用horovod多gpu训练的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
使用多GPU训练模型.md
04-06
使用多GPU训练模型.md
pytorch gpu版本的小白安装教程，含环境配置、CUDA（百度云下载）安装程序失败解决方案-附件资源
03-05
pytorch gpu版本的小白安装教程，含环境配置、CUDA（百度云下载）安装程序失败解决方案-附件资源
pytorch训练一段时间突然出现NaN
m0_37192554的博客
10-21 7126
一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原
老潘的部署之路2.0.1
老潘的博客
03-25 1093
部署应该学什么，这里都总结了
nanodet相关
zicai_jiayou的博客
12-02 974
nanodet网址：https://github.com/RangiLyu/nanodet 训练保存的pth模型比预想大：issues/50 训练保存的pth模型（7MB出头）比作者提供的pth模型（3MB）更大，原因是训练过程中保存的模型是附带优化器的check point。可以在save model时不保存优化器来获得3MB的模型。(作者原话) 保存模型的函数在项目工程的nanodet/util/check_point.py defsave_model。调用地点有两处line133 &am..
GTX 16XX系显卡 yolov5训练结果出现NAN的问题
不含硫的博客
12-23 7764
autoanchor: Analyzing anchors... anchors/target = 4.27, Best Possible Recall (BPR) = 0.9935 Image sizes 640 train, 640 val Using 1 dataloader workers Logging results to runs\train\test42 Starting training for 3 epochs... Epoch gpu_mem box
PaddlePaddleOCR使用C++预测库中文乱码快速解决
爱吃鱼的猫博客
02-09 1704
打开推断文件夹中的Key文件 右键另存为 选择ANSI编码格式 就可以在例程中以string输出正常中文
yolov5GPU训练时, 如何使用共享GPU内存
最新发布
06-06
在使用 YOLOv5 进行 GPU 训练时，可以使用 PyTorch 中的 `pin_memory` 和 `DataLoader` 函数来共享 GPU 内存。具体步骤如下： 1. 使用 PyTorch 加载数据集，将数据集加载到主机内存中，然后使用 `pin_memory=True` 将数据放到固定的内存中，以加快 CPU 到 GPU 的数据传输。例如： ```python import torch.utils.data as data train_dataset = MyDataset() train_loader = data.DataLoader(train_dataset, batch_size=64, shuffle=True, num_workers=4, pin_memory=True) ``` 2. 在训练模型时，使用 `torch.cuda.empty_cache()` 函数清空 GPU 缓存，以释放一部分 GPU 内存。例如： ```python import torch for epoch in range(num_epochs): for batch_idx, (data, targets) in enumerate(train_loader): # 将数据加载到 GPU 内存中 data, targets = data.cuda(), targets.cuda() # 训练模型 ... # 释放 GPU 缓存 torch.cuda.empty_cache() ``` 3. 对于特别大的模型或数据集，可以使用 PyTorch 中的 `DataLoader` 函数的 `persistent_workers=True` 参数来共享 GPU 内存。例如： ```python train_loader = data.DataLoader(train_dataset, batch_size=64, shuffle=True, num_workers=4, pin_memory=True, persistent_workers=True) ``` 这样可以保持 DataLoader 中的 worker 进程存在，从而避免了每次迭代都重新创建 worker 进程的开销，提高了训练效率。 总的来说，使用共享 GPU 内存可以有效减少显存的使用，提高 GPU 利用率，加速训练速度。但是，在实际应用中，需要根据具体情况选择合适的方法，以便更好地利用 GPU 资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值