rtx gpu kera loss不降或为nan

已于 2022-03-27 17:07:48 修改
阅读量1.8k 收藏 1
点赞数
文章标签： python 神经网络
于 2022-03-21 00:19:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43913406/article/details/123625177
版权

更换tensorflow版本为2.4.0以上，好像说是30显卡的问题(我是rtx3060)
如：
cudatoolkit=11.3 cudnn=8.2.1 tensorflow-gpu=2.5.0

安装(国内源好下载的版本)：
conda install tensorflow-gpu=2.5.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

tensorflow cuda cudnn对应版本 参考：
https://tensorflow.google.cn/install/source_windows

备注：
如果在win10上 gpu训练前期等待太久，
如Adding visible gpu devices: 0卡住
高级系统设置->环境变量:
变量名：CUDA_CACHE_MAXSIZE
变量值：6442450944 (nvidia-smi查看自己的gpu显存，如RTX3060为6144MiB ： 6144 * 1024 * 1024 =6442450944)
参考：TensorFlow Adding visible gpu devices: 0 加载GPU速度慢

xiaoyao x
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
补充：YOLO模型训练时loss出现nan值或者测试时P\R\map全部为0值的解决办法（GTX16xx系列显卡）
lwx的博客
07-29 3640
YOLO系列训练时出现loss出现nan值或者测试时P\R\map全部为0值的解决办法补充
解决tensorflow-gpu版本训练loss一直为nan，或者loss，accuracy数值明显不对问题
Sciws的博客
06-15 1705
首先说下我的电脑是有y9000p，win11系统，3060显卡之前装了好几个版本都不行 。python=3.6 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.2.0或者2.3.0python=3.8 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.3.0都出现了loss一直为nan，或者loss，accuracy数值明显不对的问题尝试了一下用CPU tensorflow跑是正常的，并且也在服务器上用GPU跑了显示正常，说明不是学习率，网络模型，数据集等的
CUDA耗时Kernel函数导致GPU崩溃解决方案
武泗海的博客
07-02 5005
在CUDA的GPU编程中，通常将大数据分配由众多线程解决，这样每个线程的工作量通常很小，秒秒钟解决。当时，当GPU希望承担CPU一样的耗时线程操作时，经常会出现“驱动已恢复”的崩溃现象。这是由于window系统Tdr所导致的，显卡是用来桌面显示的，所以不允许显卡长期（>2s）被占用，需要把GPU抢回来用于图形显示。因此就出现了上述情况。  解决方案：在Nvidia安装的Nsight monito
CreateGPUKernel] gpu kernel op[MaximumGrad-op1014] Resize failed
weixin_45666880的博客
10-31 96
如果存在扩维的操作，那么Maximum接受到的输入就有可能是高维的了，从而在反向计算过程中也是高维输入。对应的源码（感兴趣的话可以查看该源码文件的最新修改）：https://gitee.com/mindspore/mindspore/blob/master/mindspore/ccsrc/plugin/device/gpu/kernel/math/broadcast_grad_gpu_kernel.cc 你需要自行编译MindSpore master代码或者等1.8正式版本发布。
轻松解决tensorflow GPU启动慢的问题
Sciws的博客
06-14 3959
最近在用tf的时候,发现电脑的GPU启动非常慢,在Adding visible gpu devices: 0要卡很久，很慢。调用到了0号GPU,就是一只卡在那里.要么就是下面一步卡顿很久解决办法：在环境变量->系统变量中添加CUDA_CACHE_MAXSIZE=6442450944，然后重启电脑。启动GPU就会变得飞快，可能重启后第一次会稍微缓慢一点。注意后面这个值取决于不同电脑配置：显存*1024*1024*1024比如说我的GPU是3060 6GB的显存 那么这个值就是6*1024*1024*1024.
NVIDIA推出了他们强大的GPU TITAN RTX
01-20
NVIDIA今天推出了他们强大的GPU TITAN RTX。虽然2500美元的价格很明显瞄准的不是消费者市场，但其配备了VirtuaLink接口，可以兼容下一代VR头显。 　与NVIDIA的其他20系列GPU一样，TITAN RTX基于的图灵架构。这款的...
Centos 7.6 安装GPU(RTX 3080)
09-05
step by step 在Centos 7.6环境下，完整安装RTX 3080 GPU 驱动、cuda和cuDNN 实施文档
修复卸载office后腾讯通rtx打不开
10-13
我是在卸载visio后打不开腾讯通，打开rtx程序弹不出登录窗口，经一番搜索，经实践发现是两个dll的问题导致。附件已包含两个dll，如果和我的问题一样，下载附件打开后即可打开腾讯通。
RTX_Bot:Puppteer Bot旨在帮助您获得RTX GPU
05-17
RTX Bot 要求 用户界面 命令行界面 更新商店状态功能 木偶戏 CLI更新器 点击Amazon API获取可用性 转换为伪造者以进行结帐 结帐功能
CUDA Device Query NVIDIA-GeForce-RTX-3060.txt
最新发布
10-21
Device 0: "NVIDIA GeForce RTX 3060" CUDA Driver Version / Runtime Version 12.1 / 10.0 CUDA Capability Major/Minor version number: 8.6 Total amount of global memory: 12042 MBytes (12626624512 bytes)...
Linux中Adding visible gpu devices: 0 每次运行到这里卡很久
记录科研路上的绊脚石--Ji
05-10 1091
Adding visible gpu devices: 0 每次运行到这里卡很久 我们参考win中的想法. 参考1 :https://www.csdn.net/tags/MtTaMg1sODkzNjE2LWJsb2cO0O0O.html 在linux中,export CUDA_CACHE_MAXSIZE=4294967296 ,没想到真的变快了. 你可以通过如下命令测试是否有变快的感觉 import tensorflow as tf a = tf.test.is_gpu_available() prin
Adding visible gpu devices: 0 每次运行到这里卡很久
一颗小甜心的博客
04-28 3513
Step1. 设置环境变量：CUDA_CACHE_MAXSIZE=4294967296 我的电脑，右键，属性，高级系统设置，高级，环境变量，然后添加一个CUDA_CACHE_MAXSIZE变量，值为：4294967296，点击确定 Step2. 重启电脑 貌似之后就不会再有这种问题了 原文链接：Adding visible gpu devices: 0 每次运行到这里卡很久_我有明珠一颗的博客-CSDN博客 ...
GPU训练loss不下降，CPU正常
luckyqiong
03-20 1668
数据并行机制相关
TensorFlow Adding visible gpu devices: 0 加载GPU速度慢
weixin_40702638的博客
01-10 1万+
TensorFlow2.1.0测试，Adding visible gpu devices: 0 加载GPU速度很慢
[已解决] Adding visible gpu devecies:
weixin_47671724的博客
03-18 326
[已解决] Adding visible gpu devecies:卡住很长时间
TensorFlow 2.3.0在Adding visible gpu devices: 0要卡很久，很慢，已解决
外面的世界
04-28 8180
问题：TensorFlow 2.3.0在Adding visible gpu devices: 0要卡很久，很慢。 通过搜索，发现这个网页： https://stackoverflow.com/questions/65542317/how-to-speed-up-the-adding-visible-gpu-devices-process-in-tensorflow-with-a-30 在环境变量->系统变量中添加CUDA_CACHE_MAXSIZE=4294967296 这样就好了，不懂原因。
TENSORFLOW2.1初学踩坑
weixin_48312713的博客
10-21 294
教程：清华大学曹健老师 Tensorflow2.0教程 问题1：很多练习教程里老师可以每轮跑50000次，而我的只能跑1875次每轮。 最初可能是因为TensorFlow、CUDA、cudnn版本不匹配，因为按教程使用 conda install TensorFlow==2.1.0 时，无法找到2.1版本的，按评论区方法装了2.5版本 而2.5版本与教程的CUDA10.1版本不匹配。 问题2：在装2.1后，出现（具体问题太多记不清楚了，根据当时的搜索记录可能是这几个） Could n.
tensorflow-gpu运行测试代码，卡在 I tensorflow/core/common_runtime/gpu/gpu_device.cc:1512] Adding visible gpu
热门推荐
是江姑娘呀
05-30 3万+
新建一个环境解释器后，想要运行测试代码如下，会发现不管是cmd运行还是pycharm运行，都会卡在“Device mapping”的上一句I tensorflow/core/common_runtime/gpu/gpu_device.cc:1512] Adding visible gpu devices: 0然后就不动了如下图，我试着重新运行了两次就好了，貌似第一次运行GPU的时候就会卡在这里会...
如何用pip安装paddlepaddle？GPU为RTX2050
01-13
首先，在命令行中输入以下命令来安装paddlepaddle： ``` pip install paddlepaddle-gpu ``` 如果你想安装 CPU 版本的 paddlepaddle...另外，如果你使用的是 RTX2050 GPU，请确保你已经安装了对应的驱动程序和 CUDA。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值