pytorch反向传播自动求导

今天初学pytorch遇到一个关于自动求导的问题,看了刘老师的视频恍然大悟,故记录一下。
刘老师视频

我是初学pytorch,想做一个线性回归练练手,我的代码是长这样的:

import torch

x=torch.tensor(range(0,100))
y=3.5*x+6+torch.rand(100)/10

w=torch.tensor(1.0,requires_grad=True)
b=torch.tensor(1.0,requires_grad=True)

for i in range(100):
    y_pred=w*x+b
    My_Loss=torch.nn.SmoothL1Loss()
    loss=My_Loss(y,y_pred)
    loss.backward()
    w=w-0.01*w.grad
    b=b-0.01*b.grad

但是运行时报错说w,b不是计算图中的叶子节点,无法计算梯度,我就很疑惑。

首先我们要知道,pytorch 中的每一个Tensor都有一个data属性和一个grad属性,data属性存储的是这个Tensor的数据,grad属性存储的是这个Tensor的梯度,值得注意的是grad属性也是一个Tensor。

为了反向传播自动求导,pytorch会在求导之前建立一张计算图,然后在这个计算图上进行反向传播。我们所对Tensor做的操作都会改变这个计算图,而在更改w,b的值的时候,我们错误地使用了这两行代码:

    w=w-0.01*w.grad
    b=b-0.01*b.grad

这其实是改变了整个计算图,我们的目的只是对w,b内的值进行更改,并不是要去修改整张计算图,在修改之后,w已经不再是计算图中的叶子节点。

因此,正确的代码如下:

import torch

x=torch.tensor(range(0,100))
y=3.5*x+6+torch.rand(100)/10

w=torch.tensor(1.0,requires_grad=True)
b=torch.tensor(1.0,requires_grad=True)


for i in range(100):
    y_pred=w*x+b
    My_Loss=torch.nn.SmoothL1Loss()
    loss=My_Loss(y,y_pred)
    loss.backward()
    w.data=w.data-0.001*w.grad.data
    w.grad.data.zero_()
    b.data=b.data-0.001*b.grad.data
    b.grad.data.zero_()

还有一点要注意的是,我们在求得每一次w,b的梯度之后,需要对其梯度内的值清零,否则其梯度内的值就会一直叠加。

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

canaryW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值