pytorch--自动求导

对函数y=2x^Tx关于列向量x求导

import torch
x = torch.arange(4.0)
x

x.requires_grad_(True)
x.grad

torch.dot(x,x)即为x的内积

y = 2 * torch.dot(x,x)
y

调用反向传播函数来自动计算y关于每个分量的梯度

y.backward()
x.grad

x.grad == 4*x

在默认情况下，pytorch会累积梯度，需要清除之前的值

计算另一个函数的导数

#将梯度清零
x.grad.zero_()
y = x.sum()
y.backward()
x.grad,x

如果未将梯度清零，则会出现与之前梯度的累加：

#将梯度清零
#x.grad.zero_()
y = x.sum()
y.backward()
x.grad,x

在深度学习中，我们的目的不是计算微分矩阵，而是批量中每个样本单独计算偏导数之和

x.grad.zero_()
y = x * x
y.sum().backward()
x.grad

神经网络求梯度时，需要正向和反向都算一遍