pytorh 自动求梯度

1. 雅可比

https://blog.csdn.net/u011984148/article/details/99670194
为什么使用雅可比
求出每个y=f(x) 的偏导数 ,乘以损失函数对y的偏导数,就是损失函数对每个x的偏导数。
在这里插入图片描述
自动求梯度的原理就是链式求导
在pytorch中怎么链式求导呢,下面都是我的假设,根据图中设置参数

import torch
input=torch.tensor(10,)
x1=torch.tensor(10.,requires_grad=True)
x2=torch.tensor(20.,requires_grad=True)
x3=torch.tensor(30.,requires_grad=True)
x=[x1,x2,x3]
y1=x1*input
y2=y1+x2
y3=y2*x3.exp()
y=[y1,y2,y3]
label=1
l=torch.mean(y3-label)  #l=(y3-label)/1
l.backward()
print(x1.grad)
print(x2.grad)
print(x3.grad)
#向量v称为grad_tensor,并作为参数传递给backward() 函数。就是l对y3的导数
#v=[l/y1,l/y2,l/y3]
z1=torch.exp(x3)
v=torch.tensor([[z1,z1,1]]).t()
#计算雅可比[[y1/x1,y2/x1,y3/x1],[y1/x2,y2/x2,y3/x2],[y1/x3,y2/x3,y3/x3]]  偏导
j=torch.tensor([[input,0,0],[0,1,0],[0,0,y3]])

jvp=j.mm(v)
print(jvp)

在这里插入图片描述
可以看到结果一模一样
所以 ,知道在叶子节点保存相应的偏导数,然后和loss梯度相乘,就可以得到loss下的每个权重的偏导数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值