pytorch中求梯度,为什么要先对向量执行sum操作

PyTorch的主要功能和特点之一就是backword函数。

在学习沐神的 《动手学深度学习》 课程中的 3.2节 线性回归的从零实现,当阅读到以下代码:

lr = 0.001
loss = lin_loss
num_epochs = 100
net = lin_reg 
for epoch in range(num_epochs):
    for X, y in get_batch(batch_size, feature, label):
        l = lin_loss(net(X, w, b), y) # X和y的⼩批量损失
        # 因为l形状是(batch_size,1),⽽不是⼀个标量。l中的所有元素被加到⼀起,
        # 并以此计算关于[w,b]的梯度
        l.sum().backward()
        sgd([w, b], lr, batch_size) # 使⽤参数的梯度更新参数
    with torch.no_grad():
        train_l = lin_loss(net(feature, w, b), label)
        print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')
        #print(train_l.requires_grad)

使用l.sum()再进行backward自动求导。

对其中的的 l.sum().backward() 并不是很理解,对损失函数求导即可,为什么要先求和再求导。

此外还有一种方法可以解决直接对张量进行求导报错的问题:<

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值