07自动求导【动手学深度学习v2】

import torch
x=torch.arange(4.0) #创建向量，里面的数值是0 1 2 3
print(x)


#在计算y关于x的梯度之前，我需要一个地方来存储梯度
x_grad = x.requires_grad_(True) #该语句即为告知我需要存储梯度，等价于x=torch.arange(4.0,requires_grad = True)

x.grad#即可访问x的梯度，即y关于x的导数放在这里
print(x_grad)#
 
#现在来计算y
y = 2*torch.dot(x,x)
print(y)
'''
计算方法【不知道对不对】
tensor(28., grad_fn=<MulBackward0>) grad_fn是gradient function隐式的构造计算图
x = 0,1,2,3
y = (0+1*1+2*2+3*3)*2 = (0+1+4+9)*2 = 14*2 = 28
'''
#通过反向传播函数计算y关于x每个分量的梯度
y.backward() #求导，通过x.grad来访问我的导数，y = 2*torch.dot(x,x) dot是内积，就是自己*自己
x_grad == 4 * x
 
print('x_grad is',x_grad)
 
#在默认情况下，pytorch会积累梯度，我们需要清除之前的值
x.grad.zero_() #下划线表示重新内容，就是把0写进梯度里，就是把梯度清零
y = x.sum()
y.backward()
print(x.grad) #tensor([1., 1., 1., 1.])，如果没有清零的那一行，答案是tensor([ 1.,  5.,  9., 13.])
 
#假设y不是标量，对非标量调用backward需要传入一个gradient参数，该参数指定唯粉函数
x.grad.zero()
y = x * x
#等价于y.backward(torch.ones(len(x)))
y.sum().backward()#我们很少对向量的函数求导，大部分对标量求导，所以对y求和再来求导
print(x.grad)

假设y是作为x的函数，而z则是作为y和x的函数。

x.grad.zero_()#梯度清零
y = x * x
u = y.detach()#现在把y当成一个常数，而不是关于x的函数
z = u * x#那么现在把y替换成u，再对x求导时，结果就为u

z.sum().backward()
x.grad == u

#此时我们还是可以让y对x求导，求导之后为2x

x.grad.zero_()
y.sum().backward()
x.grad == 2 * x

tensor([True, True, True, True])

我们现在可以分析上面定义的f函数。请注意，它在其输入a中是分段线性的。换言之，对于任何a，存在某个常量标量k，使得f(a)=k*a，其中k的值取决于输入a。因此，d/a允许我们验证梯度是否正确。

a.grad == d / a

tensor(True)