tensorflow下怎么解决语义分割交叉熵损失总是nan

最新推荐文章于 2024-04-28 14:19:29 发布
最新推荐文章于 2024-04-28 14:19:29 发布
阅读量1.6k 收藏 3
点赞数 1
分类专栏： tensorflow 训练网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinbeibei0606/article/details/80216913
版权

本次训练一个带有语义分割任务的网络，发现语义分割的交叉熵损失一直是nan，而且是从刚开始迭代就是nan，检查了网络一直没发现问题，学习率调小也不起作用，推测是损失函数计算中log传入了０，考虑到用的激活函数是tanh，会产生0值，所以考虑将激活函数换成不带０的sigmoid函数，换完之后发现立马就是正常损失值开始迭代了

Murphy_0606
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
关于交叉熵损失函数的产生NaN的问题
qq_43635122的博客
11-14 4951
常用交叉熵损失函数，常代替均方差损失函数用于分类 loss_function = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred), reduction_indices=1)) 但有时用softmax激活的上面的pred，使pred=0或很接近0，导致log（0）值为NaN，造成训练时数据不稳定。 改用结合softmax交叉熵损失函数 loss_functi...
pytorch 交叉熵损失 出现nan
junjian Li
05-15 1516
1. 问题描述 代码如下: norm_ff = ff / (ff**2).sum(0, keepdim=True).sqrt() coef_mat = torch.mm(norm_ff.t(), norm_ff) coef_mat.div_(self.tau2) L_fd = F.cross_entropy(coef_mat, y) 这是因为计算图中存在.sqrt()，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。 2. 解决方法 2.
已解决 python出现nan的正确解决方法，亲测有效嘿嘿嘿
最新发布
PythonAigc的博客
04-28 2078
NaN（Not a Number）在Python的pandas、numpy等科学计算库中经常出现，它表示一个非数字的值。NaN通常出现在以下几种情况： 数据集中存在缺失值。 计算结果无意义（如0除以0）。 某些操作导致非数字结果（如字符串与数字相加）。 报错原因 NaN本身并不是错误，而是数据的一个状态，表示该位置的数据缺失或无效。然而，如果在使用NaN参与运算时，没有正确处理，就可能导致结果不符合预期，或者在某些情况下（如某些函数无法处理NaN）会抛出异常。
四、虚拟机字节码执行引擎
qq_32323239的博客
09-22 374
运行时栈帧结构 Java虚拟机以方法作为最基本的执行单元，“栈帧”（Stack Frame）则是用于支持虚拟机进行方法 调用和方法执行背后的数据结构，它也是虚拟机运行时数据区中的虚拟机栈（Virtual Machine Stack）[1]的栈元素。栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息和一些额外的附加信息。 局部变量表 局部变量表（Local Variables Table）是一组变量值的存储空间，用于存放方法参数和方法内部定义 的局部变量。在Java程序被编译为.
训练网络交叉熵loss突然出现nan的情况
qq_41568188的博客
10-05 1589
尝试在MNIST上跑AlexNet，然而发现loss一直下降的时候，在某一时刻突然出现了nan。 在tensorboard上显示如下： 可以看到在最后面的accuarcy突然下降。一开始百思不得其解， 原因其实在于交叉熵中的 y_truth * log(y_predict) log(0) * 0的时候， 则会出现NaN， 一旦出现这个情况，网络训练结果必然完蛋 解决办法其实也很简单： 在交叉熵的公式中加入一个比较小的数： ...
模型训练过程中出现的loss:nan
lovebabyhai的博客
08-04 1285
问题描述： 在使用u-net进行语义分割训练时，最初使用数据A训练没有任何问题，随后将数据B添加到数据A中重新训练u-net出现loss：nan，由于添加数据之前模型能够正常运行，初步排除是模型问题，分析可能的原因有： （1）数据A与数据B差异性太大； （2）数据B中数据有问题 为此，进行了实验，分别是： （1）在数据A中剔除数据B并添加其他与A相同来源的数据C，数据集为A+C，训练u-net----------结果：模型正常 （2）只使用数据B训练模型，---------结果：loss：nan
解决pytorch 交叉熵损失输出为负数的问题
09-16
总的来说，理解和解决PyTorch中交叉熵损失为负数以及损失变为`nan`的问题，需要深入理解损失函数的数学原理，同时关注模型训练过程中的参数更新和数据处理。通过上述策略，我们可以有效地避免和解决这些问题，确保...
tensorflow训练中出现nan问题的解决
09-20
本篇文章主要介绍了tensorflow训练中出现nan问题的解决，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Pytorch训练过程出现nan的解决方式
12-23
在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，每类大概三百多张，初始学习率是0.5。后来设置为0.1就解决了。 按照解决方案上写的。出现nan的情况还有以下几种： 学习率太...
训练神经网络交叉熵loss变为NaN的解决办法
qq_32464407的博客
01-26 8659
最近继续在用MNIST跑一些简单的MLP玩，发现当把隐节点数从300提高到1000之后训练loss就变成了全程NaN,在网上搜了搜发现原因因为交叉熵loss中用到了log函数，当输入为0时就会出现NaN。一个直接的结局方法是在log的输入中加上一个非常小的数（e.g. 1e-10）。不过如此修改之后，我发现测试loss虽然不是NaN了，却变成了始终振荡，原因是学习率过大所导致的，将学习率调低一个数
pytorch crossentropy为nan
怡宝2号
08-22 5794
**问题：**用pytorch的crossentropy做损失函数的时候，迭代几步之后loss为nan。 交叉熵损失函数的具体为： loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x) 这样当z为0/1时会出现loss为nan的情况 参考解决方案 在pred_x上加一个很小的量，如1e-10 loss = crossentropy(o...
计算loss时binary_cross_entropy的值出现负数 nan无穷大
qq_36011385的博客
03-02 4120
问题描述： 使用torch的binary_cross_entropy计算分割的loss时，前几个epoch的值确实是正的，但是训到后面loss的值一直是负数 解决方案： 后面发现自己输入的数据有问题，binary_cross_entropy输入的target和input数值范围需要在0-1之间,调试的时候发现是target label输入的数值有0，1，2,修改之后就正常了、 binary_cross_entropy输入的target和input数值范围需要在0-1之间 torch.nn.function
图像分割——交叉熵损失
ThreeStones1029的博客
04-17 2499
交叉熵的详解，从熵的由来到交叉熵，同样分析了使用交叉熵的好处，以及交叉熵在图像分割领域的使用。
语义分割的损失函数
hello_dear_you的博客
11-01 8227
语义分割任务实际上是一种像素层面上的分类，需要识别图像中存在的内容和位置，同样也存在与分类类似问题-样本类别不平衡，对于语义分割更多的是前景区域的样本远小于背景区域。针对类别不平衡问题，在loss层面上有不同的选择。 1. dice Loss dice loss 源于dice系数，是用于度量集合相似度的度量函数，通常用于计算两个样本之间的相似度，公式如下： 那么对应的dice loss的公式如下： 为了防止分母预测为0，会在分子和分母上加上一个平滑系数，公式如下。需要注意...
语义分割—交叉熵损失函数
xuyunyunaixuexi的博客
11-18 4104
from dataloaders import utils criterion = utils.cross_entropy2d import torch.nn as nn def cross_entropy2d(logit, target, ignore_index=255, weight=None, size_average=True, batch_average=True): n...
Tensorflow建立深度神经网络时出现nan及交叉熵损失函数的探讨
小白白的博客
01-07 1465
（作者：陈玓玏） 在使用tensorflow建立深度神经网络的过程中，在几次迭代之后发现所有的权重都变为了nan，导致整个网络都无法正常工作。出现这个问题我知道的可能有以下两个原因。 1） 样本未进行归一化 因为每次迭代都要计算σ(x∗ω+b)\sigma(x*\omega+b)σ(x∗ω+b)，而深度神经网络的参数众多，如果样本不进行归一化，很容易出现x∗ω+bx*\omega+bx∗ω+b溢出...
【LOSS】语义分割的各种loss详解与实现
热门推荐
咖啡味儿的咖啡
11-30 4万+
前言： 在参加Kaggle的比赛中，有时遇到的分割任务是那种背景所占比例很大，但是物体所占比例很小的那种严重不平衡的数据集，这时需要谨慎的挑选loss函数。 Loss： 1.Log loss log loss其实就是TensorFlow中的 tf.losses.sigmoid_cross_entropy或者Keras的keras.losses.binary_crossentropy...
交叉熵损失函数出现nan
09-15
最后，如果以上方法都无效，你可以尝试使用其他损失函数替代交叉熵损失函数，看看是否能解决NaN值的问题。不同的损失函数可能对模型的鲁棒性和数值稳定性有不同的影响，可以根据具体情况选择合适的损失函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值