Pytorch tensor 判断 nan 与 inf 的方法

最新推荐文章于 2024-04-22 10:20:54 发布
最新推荐文章于 2024-04-22 10:20:54 发布
阅读量2.6w 收藏 32
点赞数 17
分类专栏： troch陶器 文章标签： pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43483381/article/details/121864858
版权

在用torch搭建深度学习模型时，很容易在数据中存在inf与nan的情况，对应的数据类型分别时torch.inf与torch.nan。
大多数情况下，产生nan数据的原因基本上是出现了分母为0的情况，所以需要检查张量计算过程中是否有除法运算，比如softmax就有除法。
判断一个张量中是否有nan值：

torch.isnan(tensor).any()

其中,tensor.any()方法代表tensor中有一个True则全部都为True，any代表一个都不行；与之相对tensor.all()表示tensor中全部为True才为True，all代表都行才行。

与之类似，用tensor.isinf()方法也可以查看有没有无穷数在张量里。

torch.isinf(tensor).any()
普通攻击往后拉
关注
  • 17
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch判断NaN
jacke121的专栏
03-31 9327
pytorch判断NaN You can always leverage the fact thatnan != nan: data = torch.tensor([1, 2, np.nan]) tensor([ 1., 2., nan.]) data[data != data] tensor([ 0, 0, 1], dtype=torch.uint8) Wi...
（快速搞懂）Pytorch中的nan和inf有什么区别？
qq_43391414的博客
01-01 4197
inf是一个数字，表示正无穷大，相应的，有-inf。由于是数字，所以可以和其他数字比较大小。产生原因：数字太大，计算机无法表示。我们发现，有的时候，我们使用torch计算一通之后，有的时候得到的是nan，有的时候得到的inf，这是什么鬼？开门见山，nan不是一个数字，因此没有正负概念，和其他数字比较也没有意义。注意：nan由于不是数字，因此任何后续数学运算都会是nan。注意，其是一个数字，因此，可以作为一个数字继续参与后续运算。成功，大家可以试一试，如果b为nan是无法参加后续运算的。
一次解决Pytorch训练时损失和参数出现Nan或者inf的经历
qq_61567032的博客
10-04 1071
本文展示了我的一次解决训练时损失和参数为NaN和inf的经历
RuntimeError: probability tensor contains either `inf`, `nan` or element ＜ 0
最新发布
h1773655323的博客
04-22 934
这个问题卡了有一天的时间，后来，在对于torch的每个版本进行测试后，发现torch 2.2会出现这个问题，将版本降到torch 2.1.0就可以解决。
Pytorch定位NaN
danmeng8068的博客
09-02 5309
https://blog.csdn.net/mch2869253130/article/details/111034068 https://www.zzsblog.top/coding/2021/08/07/pytorch%E5%AE%9A%E4%BD%8DNaN.html 按照下面的流程来判断。 ... loss = model(input) # 1. 先看loss是不是nan,如果loss是nan,那么说明可能是在forward的过程中出现了第一条列举的除0或者log0的操作 assert tor
pytorch排查loss值出现nan的情况
qq1803291168
11-03 1408
pytorch 排查 loss值为 nan 的情况
(Pytorch)判断一个tensor中是否存在nan
qq_43391414的博客
09-13 1821
有的时候写代码会遇到nan的情况，遇到这种情况你肯定要去解决的，说明你代码有问题。如果你不解决，大概率由于模型前向传播＋训练导致模型中所有tensor都是nan，甚至中途就报错了。我们首要是对一些你认为关键的tensor变量进行检测是否为nan，然后停下来，进一步分析nan的原因。nan的原因有非常之多，这里就不介绍了,大家可以看看。
pytorch判断tensor是否有脏数据NaN
weixin_30809173的博客
08-12 6099
You can always leverage the fact thatnan != nan: >>> x = torch.tensor([1, 2, np.nan]) tensor([ 1., 2., nan.]) >>> x != x tensor([ 0, 0, 1], dtype=torch.uint8) W...
Pytorch Tensor的索引与切片例子
09-18
在本篇中，我们将深入探讨PyTorch Tensor的索引与切片操作，这对于理解和处理Tensor数据至关重要。 1. PyTorch风格的索引： PyTorch中的索引类似于NumPy的索引方式，按照Tensor的形状从前往后进行逐维索引。例如，...
pytorch中tensor的合并与截取方法
12-25
以上这篇pytorch中tensor的合并与截取方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文章:详解PyTorch中Tensor的高阶操作在PyTorch中Tensor的查找和...
Pytorch Tensor 输出为txt和mat格式方式
01-20
假设result1为tensor格式，首先将其化为array格式（注意...以上这篇Pytorch Tensor 输出为txt和mat格式方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文
Pytorch训练过程出现nan的解决方式
09-18
今天小编就为大家分享一篇Pytorch训练过程出现nan的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch nan解决方法笔记
jacke121的专栏
10-03 5177
自己研究出来了：分子分母同时为0的时候，会报异常NaN import torch a=torch.zeros(1) b=torch.zeros(1,requires_grad=True) print(b/0) During the training, the loss is Nan. The loss function is Torch.nn.CrossEntropyLoss. So...
判断是否出现nan值
星星超幸运的博客
11-01 268
在nan处结果不相等，是False。这就达到了判断目的。自己写神经网络和损失函数，真的非常容易出现nan值。判断方法：变量==变量。
pytorch loss inf
jacke121的专栏
10-03 6466
import torch a=torch.zeros(1) b=torch.ones(1,requires_grad=True) print(b/0)
pytorch训练过程中出现nan的排查思路
热门推荐
上帝是个娘们的博客
12-11 2万+
最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。 在optim.step()之前裁剪梯度。 optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step() max_norm一般是1，3，5。 前面两条还不能解决nan的话，就按照下面的流程来判.
记录PyTorch中半精度amp训练出现Nan的排查过程
xu.hyj
12-06 3527
网络的教程来看，在半精度amp训练出现nan问题，无非就是这几种：但是总结起来就三种：先说结论，我使用amp半精度训练，即中间会参杂float16数据类型，加快训练过程。但是本文出现Nan就是因为float16，因为float16支持的最大值在65504，而我的模型中涉及一个矩阵乘法（其实就是transformer中的q@k运算）。其中，a∈[-38,40]，b∈[-39,40]，而矩阵乘法a@b=c，c∈[-61408,inf]。因为a和b的矩阵乘法运算后最大值超过了float16最大表示，造成出现inf
(已解决）torch中如何来表示正负无穷大以及如何判定是否为正负无穷大以及应用例子
qq_43391414的博客
05-01 3523
文章目录背景方法科学计数法字符串判定例子 背景 有的时候我们需要用到正负无穷大。比如标准化的时候，就有无穷范数的概念。 import torch import torch.nn.functional as tnf 方法 科学计数法 用一个非常大的数字，然后超过计算机的表示，那么这个数字就会自动转为无穷大。表示非常大的数字，我们当然可以使用科学计数法，如下： a=torch.tensor([1.0e100])#加一个负号就是负无穷大。 a tensor([inf]) 字符串 p=float("inf"
torch.Tensor和torch.tensor
qq_40167046的博客
11-29 1226
IN:torch.tensor([2.,3.2]) Out: tensor([2.0000, 3.2000]) IN:torch.Tensor(2,3) Out:tensor([[-7.5731e-29, -2.7648e+38, nan], [ 4.0672e-31, 2.4467e-12, 4.0995e-39]]) 注意：小写tensor一般用于接受实际类型。大写Tesnor用于接受shape类型，虽然可用于接受list但为了便于区别和记忆，常用tensor代替
pytorch tensor与整数除法
09-04
在 PyTorch 中，我们可以使用 `torch.tensor` 创建张量。PyTorch 的张量是具有多种数学运算功能的多维数组。与整数除法相关的操作有两个主要方面：整数或整数张量的除法运算，以及整数除法运算的结果类型。 首先，在 PyTorch 中，整数除法运算可以使用 `/` 符号完成。例如，对于整数变量 `x` 和整数变量 `y`，我们可以使用 `result = x / y` 进行整数除法运算。这将返回一个浮点数结果，即使 `x` 和 `y` 均为整数。 在进行整数除法运算时，PyTorch 使用了自适应类型推断功能。这意味着结果的类型将根据操作数的类型自动确定。例如，如果进行整数除法运算的操作数是整数型张量，则结果将是浮点型张量。而如果操作数是整数，则结果将是浮点数。 对于整数型张量的除法运算，我们可以使用 `torch.div` 函数。该函数的第一个参数是一个整数型张量，第二个参数可以是整数或整数型张量。例如，`result = torch.div(tensor, 5)` 将整数型张量 `tensor` 中的每个元素除以 5，并返回一个浮点型张量 `result`。 综上所述，PyTorch 中的张量与整数除法的关系是，张量支持整数除法运算，并可以根据操作数的类型自动确定结果的类型。我们可以使用 `/` 符号进行整数除法运算，也可以使用 `torch.div` 函数进行整数型张量的除法运算。无论哪种方式，结果将是浮点型张量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值