pytorch中backward方法自动求梯度
1、区分源张量和结果张量
x = torch.arange(-8.0, 8.0, 0.1, requires_grad= True)
y = x.relu()
x为源张量
,基于源张量x得到的张量y为结果张量
。
2、如何使用backward()方法自动求梯度
一个标量
调用它的backward()方法后,会根据链式法则自动计算出源张量的梯度值。
2.1、结果张量是一维张量
基于以上例子,就是将一维张量y变成标量后,然后通过调用backward()方法,就能自动计算出x的梯度值。
那么,如何将一维张量y变成标量呢?
一般通过对一维张量y进行求和来实现,即y.sum()
。
一个一维张量就是一个向量,对一维张量求和等同于这个向量点乘
一个等维的单位向量,使用求和得到的标量y.sum()
对源张量x求导与y的每个元素对x的每个元素求导结果是一样的,最终对源张量x的梯度求解没有影响。
因此,代码如下:
y.sum().backward()
x.grad
2.2、结果张量是二维张量或更高维张量
撇开上面例子,结果变量y可能是二维张量或者更高维的张量,这时可以理解为一般点乘一个等维的单位张量(点乘,是向量中的概念,这样描述只是方便理解),代码如下:
y.backward(torch.ones_like(y))#grad_tensors=torch.ones_like(y)
x.grad