07 自动求导【基本看不懂】

import torch
#假设我们想对函数y=2x^Tx，关于列向量x 求导

x=torch.arange(4.0) #创建向量，里面的数值是0 1 2 3
print(x)

#在计算y关于x的梯度之前，我需要一个地方来存储梯度
x_grad = x.requires_grad_(True) #等价于 x=torch.arange(4.0,requires_grad = True)
print(x_grad)

#现在来计算y
y = 2*torch.dot(x,x)
print(y)
'''
计算方法【不知道对不对】
tensor(28., grad_fn=<MulBackward0>) grad_fn是gradient function
x = 0,1,2,3
y = (0+1*1+2*2+3*3)*2 = (0+1+4+9)*2 = 14*2 = 28
'''
#通过反向传播函数计算y关于x每个分量的梯度
y.backward() #求导，通过x.grad来访问我的导数，y = 2*torch.dot(x,x) dot是内积，就是自己*自己
x_grad == 4 * x

print('x_grad is',x_grad)

#在默认情况下，pytorch会积累梯度，我们需要清除之前的值
x.grad.zero_() #下划线表示重新内容，就是把0写进梯度里，就是把梯度清零
y = x.sum()
y.backward()
print(x.grad) #tensor([1., 1., 1., 1.])，如果没有清零的那一行，答案是tensor([ 1.,  5.,  9., 13.])

#深度学习中，我们的目的不是计算微分矩阵，而是批量中每个样本单独计算的偏导数之和
#假设y不是标量，对非标量调用backward需要传入一个gradient参数，该参数指定唯粉函数
x.grad.zero()
y = x * x
#等价于y.backward(torch.ones(len(x)))
y.sum().backward()
print(x.grad)