PINN笔记：NaN的原因

最新推荐文章于 2023-08-01 20:10:11 发布
最新推荐文章于 2023-08-01 20:10:11 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40259141/article/details/122336630
版权
本文探讨了在深度学习中遇到的梯度消失问题，除了学习率外，激活函数也是一个关键因素。作者建议在遇到ReLU激活函数可能引起的梯度消失时，可以尝试使用LeakyReLU。此外，对于Softmax函数的使用，要注意避免除以零的操作，并防止输入值过大导致NaN的出现，可以通过将数据最大值移位至0来解决，例如在MATLAB中使用softmax(lay1-max(lay1))。
摘要由CSDN通过智能技术生成
  1. Learning Rate
  2. ReLU：当确定并非Learning Rate问题后，可查看是否是activation函数的问题，比如应用LeakyReLU。
  3. Softmax：注意不要在此时除以0，除此以外，如果传入刀Softmax的数值过大也可能导致NaN的出现，可将数组以最大值shift至0，在matlab中的操作为softmax(lay1 - max(lay1))。
方雨岚(Yulan Fang)
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PINN物理信息网络 | 一种分层归一化物理信息神经网络hnPINN来解决偏微分方程问题附代码
算法如诗的博客
05-10 254
PINN物理信息网络 | 一种分层归一化物理信息神经网络hnPINN来解决偏微分方程问题附代码
笔记——nan陷阱
鱼之天空的博客
07-03 547
参考http://blog.sina.com.cn/s/blog_6ca0f5eb0102wr4j.html#cmt_5A0D972D-72F73880-BE365276-926-938https://mp.csdn.net/postlist 前面已经提到，后期会使用dropout等算法来对识别猫的神经网络进行改进，在实际操作过程中，却遇到了nan的问题 def backward_propa...
训练网络loss出现Nan解决办法
weixin_43960370的博客
04-13 1592
6.在某些涉及指数计算，可能最后算得值为INF（无穷）（比如不做其他处理的softmax中分子分母需要计算exp（x），值过大，最后可能为INF/INF，得到NaN，此时你要确认你使用的softmax中在计算exp（x）做了相关处理（比如减去最大值等等））调试中你可以使用一个简单的网络来读取输入层，有一个缺省的loss，并过一遍所有输入，如果其中有错误的输入，这个缺省的层也会产生NaN。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“
Pytorch计算Loss值为Nan的一种情况【exp计算溢出，利用softmax计算的冗余性解决】
PuJiang-的博客
11-17 1万+
一、报错提示 FutureWarning: Non-finite norm encountered in torch.nn.utils.clip_grad_norm_; continuing anyway. Note that the default behavior will change in a future release to error out if a non-finite total norm is encountered. At that point, setting error_if_n
神经网络训练时，出现NaN loss
u012910595的博客
12-19 1万+
1、梯度爆炸 原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹 症状：观察输出日志（runtime log）中每次迭代的loss值，你会发现loss随着迭代有明显的增长，最后因为loss值太大以至于不能用浮点数去表示，所以变成了NaN。 可采取的方法：1.降低学习率，比如solver.prototxt中的base_lr，降低一个数量级（至少）。如果在你的模型中有多个loss
一文彻底搞懂 Softmax 函数，数学原理分析和 PyTorch 验证
qq_43799400的博客
06-14 2万+
Softmax 函数的数学原理分析和 PyTorch 使用
PINN学习记录（3.1）
weixin_45805559的博客
01-05 1974
'''PhyCRNet for solving spatiotemporal PDEs''' import torch import torch.nn as nn import torch.optim as optim from torch.autograd import Variable from torch.optim.lr_scheduler import StepLR import numpy as np import matplotlib.pyplot as plt import scipy.i
PINN:PINN是NOOBS的增强-开源
05-03
PINN是Raspberry Pi的NOOBS的增强。 它还允许通过熟悉的类似于NOOBS的界面安装Arch Linux，OpenElec和Retropie。
PINN_Simple：探索一维中的PINN实现
02-11
PINN_Simple_ODE_1D 从引人入胜的PINN理念（ft。Maziar Raissi）看来，这一步是探索和理解PINN的第一步。 想法是使PINN用于近似（精确）简单的一维方程式并理解实现。 例子 多项式-f（x）= y = x ^ 2（-20,20） ...
pinn：Raspberry Pi的增强型操作系统安装程序
02-05
PINN（PINN不是NOOBS）Raspberry Pi的增强型操作系统安装程序PINN是Raspberry Pi的NOOBS操作系统安装程序的版本。 有关其他功能，请参见下面的更改历史记录。 可以在找到有关如何使用PINN的文档，其中包括所有原始的...
PINN-laminar-flow:物理信息神经网络，用于解决流体动力学问题
05-25
PINN层流物理信息神经网络（PINN），用于解决流体动力学问题参考纸此回购包括论文中混合形式的物理...） 穿过圆柱体的瞬态流（基于物理的神经网络结果）笔记这些实现是在TensorFlow 1.10.0的GPU版本上开发和测试的。
Pinn:一个不和谐的机器人，因此您服务器上的每个人都可以固定消息，而无需获得“管理消息”权限
05-01
品恩 使用此漫游器，任何人都可以在他们具有添加响应权限且漫游器具有管理消息许可权的任何频道上固定消息。 要固定消息，请通过以下方式对该消息做出React :pushpin: 。 要取消固定，请与 :prohibited: 。...
Softmax函数个人解读
weixin_51744807的博客
08-01 774
Softmax，其中maxmaxmax就是求最大值的意思，其核心是soft，在英文中soft有软的意思。与之相对应的hardmax，也就是说的在实际中经常求得最大值，如：numpy.max()。通过上述这个例子，我们不难发现hardmax最大特点就是其求出的最大值是唯一的。因此，在一些特定的应用场景中，这个方法是很不合理的，比如：文本分类，一篇文章可能包含多种主题的信息（即多个类别）
softmax数值不稳定问题及解决办法
zjchenchujie的博客
07-15 2947
上溢和下溢 计算机通过有限数量的位模式来表示无限多的实数，总会引入一些近似误差。如果涉及时没有考虑最小化舍入误差的累积，在实践时可能会导致算法实效。 下溢：当接近零的数被四舍五入为零时发生下溢。 许多函数在其参数为零而不是一个很小的正数时会表现出质的不同： 避免零除 避免取0的对数 上溢：大量级的数被近似为无穷时发生上溢。 必须对上溢和下溢进行数值稳定的一个例子是softmax函数 so...
Softmax()函数的溢出问题笔记
jluzhanghm1720的博客
12-31 3855
对softmax()的溢出做的笔记
这样的Softmax你真的不了解！
zenRRan的博客
07-23 504
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要8分钟跟随小博主，每天进步一丢丢每日英文Do not, for one repulse, forgo the purpose tha...
深度学习中softmax函数的溢出修正 (参考《深度学习入门》图书)
m0_63402594的博客
03-30 257
今天在运行代码过程中，在神经网络输出层设计激活函数的过程中遇到了一个十分有趣的函数softmax函数，作为处理分类问题的常用函数，有必要从代码和图像深度了解该函数，softmax存在一个溢出的问题，就是当输入的数据很大时，由于softmax函数的本质工作是在做指数函数的运算，所以回导致最终的数据无法正常输出，会报错，出现“nan”报错现象。
[深度学习] 梯度消失与梯度爆炸、Loss为Nan的原因
热门推荐
北望花村
08-04 2万+
现象 如何确定是否出现梯度爆炸？ 在训练过程中出现梯度爆炸会伴随一些细微的信号，如： （1）模型无法从训练数据中获得更新； （2）模型不稳定，导致更新过程中的损失出现显著变化； （3）训练过程中，模型的损失变为Nan。   梯度消失与梯度爆炸原因 首先，来看神经网络更新梯度的原理，即反向传播算法。 详细推导参考：反向传播算法 通过反向传播算法更新梯度的公式可以看到，影响梯度...
PINN matlab
最新发布
03-02
PINN是指物理约束神经网络（Physics-Informed Neural Network）的缩写，它是一种结合了神经网络和物理方程的方法，用于求解偏微分方程（PDE）和其他物理问题。MATLAB是一种常用的科学计算软件，可以用于实现PINN算法。 在PINN中，神经网络被用来逼近未知的物理场或者物理过程。与传统的有限元或有限差分方法不同，PINN不需要离散化网格，而是直接通过神经网络来建模。为了保证模型满足物理约束，PINN将物理方程嵌入到神经网络的训练过程中，通过最小化物理方程的残差来优化神经网络的参数。 PINN在求解PDE和其他物理问题时具有一定的优势。首先，它可以处理复杂的几何形状和边界条件，因为神经网络具有较强的非线性拟合能力。其次，PINN可以通过少量的数据进行训练，因为它能够利用物理方程中的信息进行学习。此外，PINN还可以处理噪声数据和缺失数据，并且对于高维问题也具有较好的适应性。 总结一下，PINN是一种结合了神经网络和物理方程的方法，用于求解偏微分方程和其他物理问题。MATLAB是一种常用的科学计算软件，可以用于实现PINN算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值