Mxnet： 预测结果出现Nan解决办法

最新推荐文章于 2024-07-30 11:45:38 发布
最新推荐文章于 2024-07-30 11:45:38 发布
阅读量5.6k 收藏 11
点赞数 2
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37780420/article/details/80484949
版权

训练自己的数据，输出预测结果很容易出现Nan，表示输出结果不是一个数，not a number， 最有可能是梯度爆炸造成的，解决该问题的思路大概有如下几种：

1、数据归一化（减均值，除方差，或者加入normalization，例如BN、L2 norm等）；
2、更换参数初始化方法（对于CNN，一般用xavier或者msra的初始化方法）；

最低0.47元/天 解锁文章
myy_2018
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
当BatchNormalize遇到异常值，导致预测结果都是NaN
iteye_9057的博客
06-01 2083
问题背景 最近使用DNN模型来做排序，发现近几天的NDCG离线指标下跌得很厉害。于是下载模型自己在本地评测了一下，预测结果都是NaN，于是把各层的模型参数以及各层的输出都打印出来，发现BatchNormalize中的moving_variance（方差）的某一维是NaN，最后一查果然是这一维特征异常了。为了把事情弄清楚，写这个blog记录一下。 BatchNormalize（BN）基础知识 BN的提出是为了解决神经网络中Internal Covariate Shift的问题，Internal Covaria
cnn预测值全为nan，竟是输入数据含有nan，所以查找nan所在行并删除
lsy19971120的博客
05-11 874
如题 step1：np.where(np.isnan(Aim_1))[0]返回含有nan的行，其中[0]代表行的意思，具体可以看这里，博主写的很好。（这里可能会出现错误：AttributeError: ‘numpy.ndarray’ object has no attribute ‘drop’，解决办法是将矩阵转为DataFrame，博主在这里） step2：Aim_1=Aim_1.drop(index=np.where(np.isnan(Aim_1))[0])这里要把drop后的值赋给矩阵，不然矩阵不会变
模型训练时，模型输出nan
最新发布
Sarah ~
07-30 472
在PyTorch中，梯度剪裁（Gradient Clipping）是一种常用的技巧，用于解决梯度爆炸问题。梯度剪裁可以限制梯度的大小，防止梯度变得过大而导致数值不稳定或模型性能下降。基于值的梯度剪裁通过将梯度的值限制在一定范围内来实现。PyTorch提供了torch.nn.utils.clip_grad_value_()函数来实现这一点。基于范数的梯度剪裁通过限制梯度的L2范数来实现。PyTorch提供了几种梯度剪裁的方法，包括基于范数的剪裁和基于值的剪裁。
mnist 预测值=nan 帮我看看哪里出问题了?
绀目澄清
04-09 877
# -*- coding: utf-8 -*- import tensorflow as tf import os import struct import numpy as np import numpy import matplotlib.pyplot as plt #显示单张图片 def ShowPic(x_train,prediction,origin): plt.title(...
神经网络回归任务——关于预测目标是是较小以及较大数量级,loss为nan的解决办法
乐趣是人为构建的，构建是一种莫大的乐趣。
03-10 5872
关于预测标签是是较小数量级时的解决办法: 当预测目标太小，比如1e-4，1e-3，如果直接用训练标签和输出进行mse损失计算，梯度太小，难以训练。 提前预处理数据，对输出标签先进行归一化。 这个办法有的任务是可行的，但有的任务就不行，标签归一化降低了神经网络的训练难度，同时也意味着减少了神经网络能够输出的信息。 比如使用归一化的标签训练出的神经网络在测试样本上输出[1.1,1.3,1.5],我没法知道[1.1,1.3,1.5]对应的真实数据是多少，因为我并不清楚测试集的方差或均值。如果使用训练集的方差和均
神经网络训练时，出现NaN loss
热门推荐
u012910595的博客
12-19 1万+
1、梯度爆炸 原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹 症状：观察输出日志（runtime log）中每次迭代的loss值，你会发现loss随着迭代有明显的增长，最后因为loss值太大以至于不能用浮点数去表示，所以变成了NaN。 可采取的方法：1.降低学习率，比如solver.prototxt中的base_lr，降低一个数量级（至少）。如果在你的模型中有多个loss
deepspeech.mxnet:百度DeepSpeech架构的MXNet实现
05-18
deepSpeech.mxnet：丰富语音示例 此示例基于可帮助您使用以下方法大规模构建语音转文本（STT）模型 CNN，完全连接的网络，用于网络层的（Bi-）RNN，（Bi-）LSTM和（Bi-）GRU， 批量归一化和辍学以提高培训效率， ...
onnx-mxnet：对Apache MXNet的ONNX模型格式支持
03-02
标题"onnx-mxnet：对Apache MXNet的ONNX模型格式支持"揭示了这个项目的主要目标，即为Apache MXNet框架提供对ONNX（Open Neural Network Exchange）模型格式的支持。ONNX是一种开放标准，旨在促进不同深度学习框架...
clojure-mxnet：MXNET的Clojure软件包
02-02
【Clojure-MXNet：深度学习的Clojure接口】 Clojure-MXNet是Apache MXNet库的一个扩展，它为Clojure编程语言提供了便捷的接口，使得数据科学家和开发者能够在Clojure环境中进行深度学习模型的构建、训练和部署。...
tensorflow实现多元线性回归时预测出的参数为nan
weixin_30515513的博客
06-22 482
这是由于在用feed_dict 进行数据喂养之前没有做数据归一化： 解决办法： 使用sklearn包中的preprocessing做归一化： 大妈如下 from sklearn import preprocessing example是我们要归一化的数据 scaler = preprocessing.StandardScaler().fit(example) ...
TCSP代码的预测值y_pred为nan的原因排查
m0_61688615的博客
07-05 337
标签有NAN了，梯度肯定也是NAN，那更新梯度的时候，模型的参数肯定也NAN了，但凡只要一个样本有一个nan，那后面肯定就全完蛋了。我们发现最开始的时候，并不是NAN，是都有数据的。但是多推理几次就完蛋了，从encoder开始就是NAN了， 此时输入和那一层的输入确实又不是NAN。总的来说，输出NAN的情况，基本都要么是输入就有NAN，要么是反向传播的时候梯度NAN了。5.打印model的每一步输出，发现mode的第一层的结果w_hs就为nan。打印发现encode的输入，是包含nan的。
MaxEnt运行报错的各种问题及解决方法
guye322的博客
03-22 6159
由于我使用的环境数据并不是大部分人常用的worldclim上下载的气候数据，而是使用不同的四类环境数据，分别包括：降雨数据、气温数据、氮沉降数据和大气CO2浓度数据，数据需要分别从不同的网站下载，因此并不能得到非常一致的数据文件，导致MaxEnt运行时出现了各种各样的错误。文件终于能够读取了，然而计算到一半又弹出第三种问题，根据弹出的报错提示，找到错误所在那一行，用Notepad++打开，可以发现，这一行确实存在nan值，导致文件读取无法正常进行。出现上图所述的问题时，检查环境变量是否具有相同的行列号。
pytorch 生成结果为NAN值
pp2373886592的博客
01-22 1754
原因：计算loss时，使用了torch.sqrt()，而输入参数中包含0，导致梯度爆炸 解决方法：去掉torch.sqrt()或保证该函数输入参数不含0
TensorFlow中出现Nan值的解决办法
edward_zcl的博客
03-21 1507
转载地址：http://blog.sina.com.cn/s/blog_6ca0f5eb0102wr4j.html 之前在TensorFlow中实现不同的神经网络，作为新手，发现经常会出现计算的loss中，出现Nan值的情况，总的来说，TensorFlow中出现Nan值的情况有两种，一种是在loss中计算后得到了Nan值，另一种是在更新网络权重等等数据的时候出现了Nan值，本文接下来，首先解决计算loss中得到Nan值的问...
MaxEnt报错处理方法
weixin_42191203的博客
10-05 4601
MaxEnt在处理环境变量时，要求环境变量有相同的边界轮廓，相同的坐标系和相同的分辨率，因此需要对环境变量进行如下处理： （注：以下操作均在ArcGIS内即可完成） 1.用同一边界对所有环境变量进行裁剪。 2.将裁剪后的环境变量转换为WGS1984。 3.对所有环境变量进行重采样，使它们具有相同的分辨率。 4.将重采样后的环境变量转换为asc格式。 5.导入软件即可运行。     想了解更多，请关注微信公众号“GAO戏精光芒万丈”：   ......
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值