tf2梯度计算为None的情况

最新推荐文章于 2024-08-21 20:55:56 发布
最新推荐文章于 2024-08-21 20:55:56 发布
阅读量1.2k 收藏 3
点赞数 2
分类专栏： tensorflow 文章标签： tensorflow 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47182486/article/details/119926415
版权
在使用TensorFlow 2（TF2）构建 Wasserstein GAN（WGAN）时，遇到梯度为None的情况。问题源于在CNN判别器中使用了`inputs.numpy()`，导致计算图断裂。解决办法是直接对`inputs`操作，避免将其转换为numpy数组，以保持计算图的连通性，从而正确计算梯度。
摘要由CSDN通过智能技术生成

今天搭建用tf2搭建WGAN网络，自己来写梯度函数，在使用tf.GradientTape()来求梯度时，发现求出结果为None。

一般来说结果为None，表示输入变量之间没有构成可求导的关系，同时也需要理解tf.GradientTape()求导的原理，是根据输入的target和source构建好的图进行求导，其中的变量可以视为节点，如果节点间没有连接，求导便会停止，返回None。

我检查代码后发现，在用CNN搭建判别器的时候，有这么一行代码：

for input in inputs.numpy():
	....
	....

这里我是想直接操作tensor的矩阵了，但是这样会导致求导图中断开联系，
因为inputs.numpy()和inputs算作两个节点了，所以直接对inputs操作，这样就不会返回None了

正在吃饭的派大星
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TensorFlow中compute_gradients函数返回列表部分为None
zhy967253的博客
05-20 1931
TensorFlow中compute_gradients函数返回列表部分为None tensorflow在使用opt.compute_gradients函数传入loss计算梯度时，不知道为什么返回的列表中，部分的变量对中的梯度为None。 // 原本的compute_gradients代码 grads = opt.compute_gradients(loss) 后经查阅资料后发现，compute_gradients函数会计算所有的variables的梯度，并不只只是我所关心的variables，然后其他的
网络梯度为None、参数不更新解决思路（又名“魔改代码的报应”）
weixin_43978293的博客
03-03 3926
网络梯度为None、参数不更新的解决思路
tensorflow中tf.gradients()解析
sunshine9404的博客
12-01 2352
tf.gradients()解析及grad_ys在xs为(?, 1)时的理解 问题简介 使用tensorflow1.15学习时，有一项tf.gradients的代码，其中用到了grad_ys这个参数，经过一些解析，得到了一些自己的理解 原代码 def fwd_gradients_1(self, U, x): g = tf.gradients(U, x, grad_ys=self.dummy_x1_tf)[0] return tf.gradients(g, self.d
optimizer.compute_gradients计算时梯度是none
ab0902cd的博客
03-10 1715
在设计网络时会遇到，计算梯度时某些variable的gradient是None的情况，这种bug第一次遇到会比较头疼，如果没有踩过这其中的坑还真不知道如何解决，下面总结一下解决办法： 1. model存在多余的op，也就是没有被使用的op 这种情况下，调用optimizer.compute_gradients（）会报错，需要去除这些没有使用的op 这里也有提到：ht...
param.grad、requires_grad、grad_fn、grad/梯度为None？
无偿、有效的解释和解决AI 4 Science中的问题和难点
07-29 3236
计算图中的节点分为叶子节点和非叶子节点，叶子节点可以理解成不依赖其他tensor的tensor（例如b = a+1，那么b就是叶子节点），在使用backward()函数进行反向传播计算tensor的梯度时，并不是计算所有的tensor的梯度，而是计算满足这几个条件的tensor的梯度，子节点张量而是中间节点(中间节点张量). 如果该张量的属性requires_grad=True,叶子节点张量的属性grad中,不会在中间节点张量的属性grad中保存这个张量的梯度,这是。
神经网络参数梯度为None
weixin_43399955的博客
07-22 4698
网络梯度为None
Pytorch-反向传播后梯度为None
qq_45189662的博客
12-21 744
经过这个步骤后可以判断哪些变量没有参与梯度计算，将其从模型中去掉即可。
tensorflow 查看梯度方式
12-20
在TensorFlow中，我们可以使用`tf.gradients()`函数来计算损失函数相对于模型参数的梯度。这个函数接受两个参数：`y`是需要求导的量（通常是损失函数），`x`是求导的目标变量（通常是模型的权重）。例如，如果`y_`是...
在Tensorflow中实现梯度下降法更新参数值
09-18
1. **定义优化器**：通过`tf.train.GradientDescentOptimizer`定义优化器，并设置学习率为0.01。可以指定需要更新的参数列表`var_list`。 ```python train_step = tf.train.GradientDescentOptimizer(0.01)....
对tensorflow中tf.nn.conv1d和layers.conv1d的区别详解
09-17
总结来说，`tf.nn.conv1d`和`layers.conv1d`都是执行一维卷积的函数，但`layers.conv1d`提供了更多的高级特性，更适合在模型构建中使用，而`tf.nn.conv1d`则更底层，适用于需要直接控制计算流程的情况。在实际应用中...
Python库 | tf_watcher-0.1.2-py3-none-any.whl
02-20
**Python库tf_watcher-0.1.2-py3-none-any.whl详解** Python作为一门强大且广泛使用的编程语言，拥有丰富的第三方库支持。在本篇中，我们将聚焦于一个名为`tf_watcher`的Python库，其版本为0.1.2，适用于Python 3...
PyPI 官网下载 | tf_agents_nightly-0.8.0.dev20210703-py3-none-any.whl
02-05
描述进一步确认了这个资源是来自PyPI官网，且文件名为`tf_agents_nightly-0.8.0.dev20210703-py3-none-any.whl`，这与标题提供的信息一致。`.whl`文件的命名规则通常包含Python解释器的版本（py3代表Python 3.x），`...
torch参数梯度为None的问题
m0_62258399的博客
11-13 487
我实现的VAE++网络中，这两个线性层权重偏移会在最后一层MLP中进行一次聚合，除此之外就没有其他地方有用到了，所以把视线放在了最后一层mlp上。经过一段时间的思考，觉得应该是梯度传播的问题。把训练后叶子节点的梯度打印出来，果然有两个线性层是没有梯度的。就像省流说的一样，detach经过计算之后，不会将梯度传回到原变量上，也就是被block掉了。前一项的KL散度所用到的权重梯度其实是传递到位了的，所以问题应该就出现在后一项。后来把代码修改一下，用clone就可以啦。修改代码之后问题就解决了ouo。
tensorflow中GradientTape计算之后返回None的问题
eastdawnc的博客
03-14 4154
tf.GradientTape中按照其他人的一些文档自己写完之后，发现最终返回None而并非求解Gradient的值。如下图所示： from tensorflow.keras import layers import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' x = tf.constant(3.0) w...
Python记录 tensor求梯度时为None的错误
weixin_47681965的博客
07-15 1099
发现是requires_grad位置不对，应该是tensor放入cuda后，requires_grad默认改成False。今天学习对抗样本，需要对tensor求梯度，
对于求梯度为none的原因 记录
weixin_42208579的博客
04-10 4983
import torch w=torch.tensor([1.],requires_grad=True) x=torch.tensor([2.],requires_grad=True) a=torch.add(w,x) b=torch.add(w,2) y=torch.mul(a,b) y.backward() print(w.grad) print(x.grad) print(a.grad) print(b.grad) 结果是： tensor([6.]) tensor([3.]) None None 对于
卷积核的grad为none_pytorch入门与实践（1）：张量的基本操作和自动微分requires_grad=True...
weixin_36035610的博客
01-16 1266
PyTorch是一个基于Python的库，提供了一个具有灵活易用的深度学习框架，是近年来最受欢迎的深度学习框架之一。如果你是新新新手，可以先学习以下教程： 深度学习之PyTorch实战-基础学习及搭建环境 PyTorch中文文档改编自：(1) DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ (2) https://www.kesci.com/hom...
Pytorch损失反向传播后参数梯度为None
weixin_43751558的博客
04-08 4724
错误代码：反向传播后输出factor参数的grad为None factor = torch.ones(num, requires_grad=True) self.factor = torch.nn.Parameter(factor).cuda() 错误原因：self.factor经过一次.cuda()操作后就不再是叶子结点了。 修改后代码： factor = torch.ones(num, requires_grad=True) self.factor = torch.nn.Param
Linux系统下CUDA与tensorflow与python的版本对应关系
最新发布
weixin_53028400的博客
08-21 947
Linux系统下CUDA与tensorflow与python的版本对应关系
tf.gradients(xs[:, j], Ys) 结果为None
06-07
如果`tf.gradients(xs[:, j], Ys)`返回`None`，则可能是因为计算图中缺少必要的依赖项。您可以尝试通过调用`tf.debugging.check_numerics`函数来排除梯度计算的问题。 例如，您可以在计算梯度之前添加以下代码： ```python import tensorflow as tf # ... with tf.Session() as sess: # Add this line to check for NaNs and Infs tf.debugging.check_numerics(xs, 'xs contains NaNs or Infs') tf.debugging.check_numerics(Ys, 'Ys contains NaNs or Infs') gradients = [] for j in range(n): # Add this line to check for NaNs and Infs tf.debugging.check_numerics(xs[:, j], f'xs[:, {j}] contains NaNs or Infs') grad = tf.gradients(xs[:, j], Ys)[0] gradients.append(grad) jacobianmatrix1 = tf.stack(gradients, axis=1) # ... ``` 这将确保xs和Ys张量中不存在NaN或Inf值。如果存在这些值，则`tf.debugging.check_numerics`函数将引发异常并停止计算。如果没有异常，则可能是计算图中缺少必要的依赖项，您可以尝试添加更多的依赖项或使用`tf.control_dependencies`函数来控制计算图的顺序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值