解决tensorflow-gpu版本训练loss一直为nan，或者loss，accuracy数值明显不对问题

最新推荐文章于 2024-04-26 12:02:50 发布
最新推荐文章于 2024-04-26 12:02:50 发布
阅读量1.9k 收藏 16
点赞数 2
分类专栏： 笔记 文章标签： tensorflow 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sciws/article/details/125290718
版权

首先说下我的电脑是有y9000p，win11系统，3060显卡

之前装了好几个版本都不行 。

python=3.6 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.2.0或者2.3.0

python=3.8 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.3.0

都出现了loss一直为nan，或者loss，accuracy数值明显不对的问题

尝试了一下用CPU tensorflow跑是正常的，并且也在服务器上用GPU跑了显示正常，说明不是学习率，网络模型，数据集等的问题。

从上图可以看到loss和accuracy的值明显是有问题的

查找了一天博客也没找到解决方法。最后试了下重装了一个以下配置的环境，问题解决成功运行。

python=3.8 CUDA=11.3 cuDNN=8.2.1 tensorflow-gpu=2.7.0

 

 

分析了一下问题可能是win11系统的问题，也可能是显卡与CUDA的兼容问题

Sciws
关注
  • 2
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习日记：tensorflow版本差异遇到的问题
weixin_52017773的博客
03-13 2585
网上很多的开源代码所用的库的版本都是tensorflow1.x的，跟tensorflow2.0里面的内容完全不匹配，以下是我在学习中遇到的一些版本差异带来的问题 1.调用库时遇到的问题 下面是一段代码： from keras.optimizers import SGD,RMSprop,Adam 在tensorflow2.x版本上会报错，表示在keras中找不到这些函数 其实原因是tensorflow2.x版本兼容了keras，需要进行修改 from tensorflow.keras.opti
Tensorflow训练网络出现了loss = NAN解决方案
123
10-19 1514
注：内容来源与网络 最近用Tensorflow训练网络，在增加层数和节点之后，出现loss = NAN的情况，在网上搜寻了很多答案，最终解决了问题，在这里汇总一下。 数据本身，是否存在Nan,可以用numpy.any(numpy.isnan(x))检查一下input和target 在训练的时候，整个网络随机初始化，很容易出现Nan，这时候需要把学习率调小，可以尝试0.1，0.01，0.001，...
关于TensorFlow-gpu出现nan原因
Lu_Home的博客
03-27 1316
当我使用CPU跑程序的时候，结果的LOSS正常输出，但是当我改成使用GPU时，我的loss显示为nan。 但是我的输出图片是可以输出的，程序也是可以运行的，说明问题出现在loss函数这一部分。查阅资料后发现，TensorFlow-gpu版不支持双星号（**）运算，所以在损失计算时，返回的数组就会变成nan。 于是我就去找我的loss的这一部分代码，发现确实有双星号的存在。 于是我就把双星号去掉，改成最原始的样子（src-dst）*(src-dst)，结果loss就可以正常输出。 有可能GP.
Windows环境下安装GPU版的TensorFlow的教程集合
最新发布
weixin_44359964的博客
04-26 174
Tensorflow-gpu保姆级安装教程（Win11, Anaconda3，Python3.9）TensorFlow找不到cudart64_110.dll not found的解决方案Tensorflow或Pytorch检测不到GPU解决办法卸载错误的cuda版本+安装正确的cuda+cudnn+pytorch
模型训练损失为nan的解决办法-GPU的影响
q43956的博客
07-13 227
模型训练损失为0的解决办法
GPU训练loss不下降，CPU正常
luckyqiong
03-20 1725
数据并行机制相关
深度学习：loss nan accuracy变化小
a343981218的专栏
07-14 555
TensorFlow与cuda搭配带来的坑
Tensorflow编程问题-Loss Nan
qq_40676033的博客
12-05 225
1、在分类问题中，我们经常使用到交叉熵损失函数，需要注意的是：由于交叉熵损失函数里有对数计算，因此对数的真数部分不能为0，所以我们在计算计算交叉熵时需要给这个真数部分限定一个范围，否则会出现数值下溢的问题，我们可以采取的办法是使用tf.clip_by_value(input,min_value,max_value)函数来限定真数的下限； 2、另一种情况是在训练开始时后出现损失函数值为nan，这种情况一般是由于学习率太大，我们需要减小学习率；或者是在训练一段时间后出现nan，这种情况可能是由于梯度爆炸导致的
tensorflow训练常见问题1——accuracy=0
xiaotiig的博客
12-02 5228
这里写目录标题1问题三级目录2解决方法2.1激活函数用错了2.2数据没有预处理2.3损失函数用错了2.4学习率太大了2.5批次量太小了 1问题 16/739 […] - ETA: 5:53 - loss: 0.4488 - acc: 0.0000e+00 三级目录 2解决方法 2.1激活函数用错了 多分类要用softmax，不用sigmoid 2.2数据没有预处理 比如分类的时候，需要把结果数据 转换为0，1，2形式 比如下面在语义分割的时候，需要先检查数据， 把像素值先做归一化 检查数据：大小，通道，值的
tensorflow问题--KeyError: ‘accuracy’ 和RuntimeError: __iter__() is only supported inside of tf.function
mqqgd818的博客
01-05 2098
问题描述： 在运行霹雳吧啦Wz老师用tensorflow实现的Alexnet代码时，出现下面的错误： train_accuracy = history_dict["accuracy"]KeyError: ‘accuracy’ 原因分析： 由于keras库版本不同所造成的 解决方案： 将参数accuracy替换为acc，将参数val_accuracy改为val_acc 已解决~ 参考链接： https://blog.csdn.net/weixin_42497252/article/det..
解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题
09-16
主要介绍了解决keras GAN训练是loss不发生变化,accuracy一直为0.5的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
测试 TensorFlow-GPU的代码.zip
11-21
首先，确保你已经正确安装了TensorFlow-GPU版本。这通常包括安装CUDA（Compute Unified Device Architecture）和cuDNN（CUDA Deep Neural Network），它们是NVIDIA为GPU加速计算提供的核心库。安装过程中，要匹配...
TensorFlow绘制loss/accuracy曲线的实例
09-18
在机器学习和深度学习领域，模型的训练过程中，可视化损失(loss)和准确率(accuracy)曲线是至关重要的，它可以帮助我们理解模型的训练情况和性能。TensorFlow是一个强大的开源库，用于构建和训练复杂的神经网络模型，...
爬坑tensorflow多gpu并行训练时loss为nan
PanYHHH的博客
06-05 1967
一、前言 有关tensorflow多gpu分布式的知识点介绍可以参考这篇博客，本文主要是记录一下自己训练时遇到的几个易错点，代码使用的分布式策略是数据并行中的同步方式。 文章最后会放上完整代码，包括训练及在训练过程中验证的过程。 二、易错点 1. 数据划分不当导致loss为nan 划分数据到不同的gpu上的代码片段如下: inputs = tf.placeholder(tf.float32, [None, image_size, image_size, 3]) labels = tf.plac
Windows10下GPU版本TensorFlow安装问题汇总
热门推荐
码灵薯的博客
08-04 1万+
Windows10下GPU版本TensorFlow安装问题汇总
模型训练中出现NaN Loss的原因及解决方法
豆芽菜
05-23 1万+
1 梯度爆炸 原因：学习的过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。 症状：观察每次迭代的loss值，会发现loss明显增长，最后因为loss值太大以至于不能用浮点去表示，所以变成了Nan。 可采取的措施：1 降低学习速率，2 如果模型中有多个loss层，就需要找到梯度爆炸的层，然后降低该层的loss weight。 2 学习率过高 原因：过高的学习率乘上所有的梯度使得所有参数变成无效的值。 症状：观察输出日志，会发现学习率变成nan 可采取的措施：设置合适的学习速率 3 损失函数
尝试交给我一个适配tensorflow -gpu 2.6.0的适配代码
05-05
好的，以下是一个适配 TensorFlow 2.6.0 + GPU 的代码示例： ```python import tensorflow as tf # 检查GPU是否可用 if not tf.test.is_gpu_available(): print("GPU not available.") else: print("GPU available.") # 构建模型 model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu'), tf.keras.layers.Dense(10) ]) # 编译模型 model.compile(optimizer=tf.keras.optimizers.Adam(0.001), loss=tf.keras.losses.CategoricalCrossentropy(from_logits=True), metrics=['accuracy']) # 加载数据 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 y_train = tf.one_hot(y_train, depth=10) y_test = tf.one_hot(y_test, depth=10) # 训练模型 model.fit(x_train, y_train, epochs=5, validation_data=(x_test, y_test)) ``` 这段代码首先检查GPU是否可用，然后构建一个简单的神经网络模型，使用Adam优化算法和分类交叉熵损失函数来编译模型，然后加载MNIST数据集并对模型进行训练。 请注意，如果您的TensorFlow安装不支持GPU，或者您的计算机没有GPU，那么您将看到“GPU not available.”的输出。如果您的计算机有GPU且TensorFlow支持GPU，那么您将看到“GPU available.”的输出，并且模型将在GPU上进行训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值