训练神经网络时w-=lr*w.grad和w=w-lr*w.grad的不同

最新推荐文章于 2023-09-27 11:36:07 发布
最新推荐文章于 2023-09-27 11:36:07 发布
阅读量1k 收藏
点赞数 2
文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49327481/article/details/124075184
版权

在训练神经网络时，使用w-=lr*w.grad时网络可以正常训练，但使用w=w-lr*w.grad时网络的梯度却消失。因为使用w=w-lr*w.grad时，w和w不是相同的w，而是将原先的w计算后存在一个新的tensor里再返回给新的w中。新的w没有设置梯度，所以训练会梯度消失。

能吃胖的晨星
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习】（二）反向传播+tensor原理+w.data&w.grad&w.grad.data&w.grad.item()区别+练习
Queen_sy的博客
10-15 1652
1)w.data 表示张量w的值，其本身也是张量,输出格式tensor[数]。 2)w.grad 表示张量w的梯度，其本身w.grad是张量 用时(标量计算时)需要取w.grad.data，表示张量w.grad的值,输出格式tensor[数]，(梯度输出时)需要取w.grad.item()，表示返回的是一个具体的数值,输出格式 数> 3)w.grad.item() l.item() 表示返回的是一个具体的数值,输出格式 数。 对于元素不止一个的tensor列表，使用item()会报
刘二PyTorch深度学习（三）--反向传播
zhaoweiaier的博客
08-13 467
反向传播
神经网络参数梯度为None
weixin_43399955的博客
07-22 4428
网络梯度为None
pytorch入门：自动求导，不同方式实现简单的机器学习
AI路漫漫
11-21 529
1. 自动求导，标量的反向传播，非标量的反向传播 2. 使用 Numpy Tensor TensorFlow 实现机器学习
pytorch(2)——张量操作与线性回归
zmj52的博客
01-16 156
一、张量的操作 1）拼接 功能：将张量按维度dim进行拼接 tensors:张量序列 代码如下： 功能：在新创建的维度dim进行拼接 代码如下： 2）切分 功能：将张量按维度dim进行平均切分 返回值：张量列表 注意事项：若不能整除，最后一份张量小于其他张量 input：要切分的张量 chunks：要切分的份数 dim：要切分的维度 代码如下 功能：将张量按维度dim进行切分 返回值：张量列表 split_siaze_or_sections：为int时，表示每一份长度；为list时，按list
pytorch-grad-cam-master.zip
05-29
grad-cam Pytorch实现，类激活图，可视化feature map，热图显示图像分类的分类原因，因为什么分的类。
texlive-pst-grad-20180414-23.el8.noarch.rpm
12-19
官方离线安装包，测试可用。使用rpm -ivh [rpm完整包名] 进行安装
keras-grad-cam：带有keras的Grad-CAM的实现
02-04
参见论文： : 该论文的作者实现了火炬实施： ： 该代码假定Tensorflow尺寸顺序，并默认在keras.applications中使用VGG16网络（网络权重将在首次使用时下载）。 用法： python grad-cam.py 例子 示例图片： '拳击手'...
Swin-Transformer+gradcam可视化代码+Windows环境.zip
01-18
Swin-Transformer+gradcam可视化代码+Windows环境
PyTorch中model.zero_grad()和optimizer.zero_grad()用法
09-16
主要介绍了PyTorch中model.zero_grad()和optimizer.zero_grad()用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
对于求梯度为none的原因 记录
weixin_42208579的博客
04-10 4825
import torch w=torch.tensor([1.],requires_grad=True) x=torch.tensor([2.],requires_grad=True) a=torch.add(w,x) b=torch.add(w,2) y=torch.mul(a,b) y.backward() print(w.grad) print(x.grad) print(a.grad) print(b.grad) 结果是： tensor([6.]) tensor([3.]) None None 对于
PyTorch深度学习实践（三）
#仙女不扎马尾#的博客
03-12 2518
文章目录1 梯度下降引入2 计算图3 链式求导 写在前面：之前学习的都是简单的预测问题，涉及的函数是一维线性函数，在本节内容中，要开始介绍稍微复杂一点的神经网络了，参数w不再是1个，而是很多个！ 1 梯度下降引入 在第一列的五个圆圈和六个圆圈之间，我们可以看到有30条线。第一列的五个圆圈表示51的输入x，第二列表示第一层的61输出，那么中间 很显然是一个6*5的权重矩阵。也就是说，这里一共有30个参数。 是否能做这样一个算法，将整个网络看成一个计算图，可以在计算图上传播梯度，最后根据链式法则把梯
pytorch学习笔记（1）
最新发布
weixin_48944587的博客
09-27 44
torch.normal(0, 1,(num_examples, len(w)) 表示均值为0，方差为1的随机数，大小是num_example个样本，列数是len(w)。在这里我们看到的true_w是二维的，等价于这样的公式 y = w1*x1+w2*x2+b ， 也就是说相当于关键因素中的住房面积和卧室个数。y += torch.normal(0, 0.01, y.shape) 是让y再加上一个随机噪音，均值为0，方差为0.01，长度和y一样。梯度是一个函数增长最快的地方，加一个负号表示下降最快的地方。
pytorch 踩坑笔记之w.grad.data.zero_()
07-22 3560
　　在使用pytorch实现多项线性回归中，在grad更新时，每一次运算后都需要将上一次的梯度记录清空，运用如下方法: w.grad.data.zero_() b.grad.data.zero_() 　　但是，运行程序就会报如下错误： 　　报错，grad没有data这个属性， 　　原因是，在系统将w的grad值初始化为none，第一次求梯度计...
PyTorch 深度学习实践 第4讲
热门推荐
bit452的专栏
11-12 2万+
第4讲 反向传播back propagation源代码 B站 刘二大人，传送门PyTroch 深度学习实践——反向传播 import torch x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6.0] w = torch.Tensor([1.0]) # w的初值为0.1 w.requires_grad = True #需要计算梯度 def forward(x): return x*w #w是一个Tensor def loss(x, ...
Pytorch 线性回归 grad清零报错：w.grad.data.zero_() AttributeError: 'NoneType' object has no attribute 'data'
刺无名客的博客
09-19 1万+
学习了https://github.com/L1aoXingyu/code-of-learn-deep-learning-with-pytorch/blob/master/chapter3_NN/linear-regression-gradient-descend.ipynb 上的Pytorch线性回归这一章，自己复了一遍代码后，再删去了一些人为学习型的输出和plot画图代码后报错 w.g...
Pytorch深度学习（三）：反向传播
qq_42585108的博客
08-20 2万+
反向传播一、概念二、代码如下： 一、概念 Tensor：data 和 grad w.data w.grad.data：数值计算，不构建计算图。 w.grad.item()：取出数值。 w.grad.data.zero()：清零。 训练的目的，是为了让损失更小，即在训练过程中不断更新ω的值，以使得loss最小。 所以我们在梯度下降的过程中，就是观察，并使其取向最小的趋势训练。 根据上一节我们可以得到一般简单的线性更新计算的解析式为： Update为： 其中，α称为学习率。（采用贪心策略） 对应的Loss F
张量应用之线性回归
m0_55336071的博客
05-04 847
线性回归（Linear Regression） 线性回归是分析一个变量与另一（多）个变量之前关系的方法 因变量：y 自变量：x 关系：线性 分析：求解w,b 求解步骤： 1. 确定模型 Modle: 2. 选择损失函数MSE： 3. 求解梯度并更新w,b,(LR为学习率) 代码实现： import torch import matplotlib.pyplot as plt torch.manual_seed(10) lr...
李宏毅 机器学习课程 Gradient Desent Demo 代码与实现
王爷的CSDN
05-22 3910
import np # import plot # import matplotlib import matplotlib.pyplot as plt # plt # 李宏毅原代码没有加载相关参数，以上为我自行加载的。 x_data = [338, 333, 328, 207, 226, 25, 179, 60, 208, 606] y_data = [640, 633,619, 393, 4...
with torch.no_grad(): w-=lr*w.grad b-=lr*b.grad #梯度清零 w.grad.zero_() b.grad.zero_()
07-27
这段代码是在使用PyTorch进行梯度下降优化时的常见操作。让我解释一下每一步的作用： ```python with torch.no_grad(): w -= lr * w.grad b -= lr * b.grad # 梯度清零 w.grad.zero_() b.grad.zero_() ``` 1. `with torch.no_grad():`：这里使用`with torch.no_grad()`上下文管理器，表示接下来的代码块中禁用梯度计算。在这个代码块中，PyTorch不会跟踪操作的梯度信息，因为这是在更新模型参数而不是计算梯度。 2. `w -= lr * w.grad`和`b -= lr * b.grad`：这两行代码使用梯度下降法更新参数`w`和`b`。`lr`表示学习率，`w.grad`和`b.grad`分别表示参数`w`和`b`的梯度。通过将当前参数值减去学习率乘以对应的梯度，可以沿着梯度的反方向更新参数值，以减小损失函数的值。 3. `w.grad.zero_()`和`b.grad.zero_()`：这两行代码将参数`w`和`b`的梯度清零。在每次更新参数之后，需要手动将梯度清零，以避免梯度在后续计算中累积。通过调用`zero_()`方法，可以将梯度张量中的所有元素设置为零。 这段代码的作用是使用梯度下降法更新参数，并清零梯度，以准备下一次迭代。这是在训练神经网络等模型时常见的操作。 希望能解答你的问题！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值