import torch
#假设对y=2XΤX(转置) 关于列向量x求导
x=torch.arange(4.0)
#在计算之前 需要一个地方存储梯度
x.requires_grad_(True) #等价于 x=torch.arange(4.0,requires_grad=True)
x.grad
#计算y
y=2*torch.dot(x,x)
y
#通过调用反向梯度函数计算y关于x每个分量的梯度
y.backward()
x.grad
#验证
x.grad==4*x
#计算x的另一个函数
x.grad.zero_() #梯度清零
y=x.sum()
y.backward()
x.grad
#深度学习中 我们的目的并不是计算微分矩阵 而是批量中每个样本单独计算偏导之和
#大部分是对标量求导
x.grad.zero_()
y=x*x
#等价于y.backward(torch.ones(len(x)))
y.sum().backward()
x.grad
#将某些计算移动到计算图之外
x.grad.zero_()
y=x*x
u=y.detach() #u:把y当作常数
z=u*x
z.sum().backward()
x.grad==u
#当使用复杂的Python计算控制流 仍然可以求导
def f(a):
b=a*2
while b.norm()<1000:
b = b*2
if b.sum()>0:
c = b
else:
c = 100*b
return c
a = torch.randn(size=(),requires_grad=True)
d = f(a)
d.backward()
a.grad==d/a