李沐动手学深度学习:自动求导

import torch
#假设对y=2XΤX(转置) 关于列向量x求导
x=torch.arange(4.0) 
#在计算之前 需要一个地方存储梯度
x.requires_grad_(True)  #等价于 x=torch.arange(4.0,requires_grad=True)
x.grad

#计算y
y=2*torch.dot(x,x)
y

#通过调用反向梯度函数计算y关于x每个分量的梯度
y.backward()
x.grad

 #验证
x.grad==4*x

#计算x的另一个函数
x.grad.zero_()   #梯度清零
y=x.sum()
y.backward()
x.grad 

#深度学习中 我们的目的并不是计算微分矩阵 而是批量中每个样本单独计算偏导之和
#大部分是对标量求导
x.grad.zero_()
y=x*x
#等价于y.backward(torch.ones(len(x)))
y.sum().backward()
x.grad

#将某些计算移动到计算图之外
x.grad.zero_()
y=x*x
u=y.detach() #u:把y当作常数
z=u*x

z.sum().backward()
x.grad==u

 

#当使用复杂的Python计算控制流 仍然可以求导
def f(a):
    b=a*2
    while b.norm()<1000:
        b = b*2
    if b.sum()>0:
        c = b
    else:
        c = 100*b
    return c

a = torch.randn(size=(),requires_grad=True)
d = f(a)
d.backward()

a.grad==d/a