链式法则 反向传播

import torch

# 创建一个需要梯度计算的FloatTensor
a = torch.tensor([2., 3.], dtype=torch.float, requires_grad=True)

# 计算 b = a * 3
b = a * 3

# 计算 c = b * b * 3
c = b * b * 3

# 计算 c 的均值
out = c.mean()

# 反向传播,计算梯度
out.backward()

在反向传播阶段,out.backward()会计算out关于a的梯度。考虑到前面的运算步骤,我们需要计算out关于a的偏导数,即dc/da

根据链式法则,我们可以分解这个过程:

  1. c = (a*3)^2 * 3,首先计算(a*3),记为b,然后计算b的平方,并乘以3。
  2. 因此,dc/db = 2 * b * 3,然后db/da = 3
  3. 所以,dc/da = dc/db * db/da = 2 * b * 3 * 3,因为b在计算梯度时已经是关于a的表达式,所以b的值会被代入。
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值