1. 概述
将一个tensor的.requires_grad
属性设置成 True (默认为False),就可以对其进行追踪,并使用.backward()
方法来对其求梯度,该tensor的梯度累加在.grad
属性中。若该变量不想被追踪可以使用.detach()
方法将其从追踪记录中分离出来,此时梯度无法继续传递,也可使用with torch.no_grad()
方法将不想被追踪的代表包裹。
import torch
x = torch.tensor([1.0,2,3,4], requires_grad=True)
y = torch.rand(2,2)
print(x.requires_grad)
print(y.requires_grad)
y.requires_grad_(True)
print(y.requires_grad)
输出
True
False
True
2. 求梯度
在y.backward()
进行求梯度时,如果y是标量,backward()
不需要传入任何参数,否则需要传入一个与y同形状的tensor.
import torch
x = torch.ones(2, 2, requires_grad=True)
y = x+2
z = y*y*3
out = z.mean()
out.backward()
print(x.grad)
输出
tensor([[4.5000, 4.5000],
[4.5000, 4.5000]])
o u t = 3 4 y 2 = 3 4 ( x + 2 ) 2 out = \frac{3}{4}y^2 =\frac{3}{4}(x+2)^2 out=43y2=43(x+2)2
∂
o
∂
x
i
∣
x
i
=
1
=
3
2
(
x
i
+
1
)
=
4.5
\frac{\partial _o}{\partial _{x_i}}\mid_{x_i=1}^{}=\frac{3}{2}\left( x_i+1 \right) =4.5
∂xi∂o∣xi=1=23(xi+1)=4.5
由于y是一个标量,因此不需要在backward()
中传入任何参数,相当于其中传入了1
若y是一个tensor,要把张量通过将所有张量的元素加权求和的方式转换为标量,再求导。比如:y由自变量计算而来,w是y的同形状的张量,则y.backward(w)
的含义是先计算l = torch.sum(y*w)
,则l
为一个标量,然后求l
对自变量x
的导数。
import torch
x = torch.tensor([1.0, 2, 3, 4], requires_grad=True)
y = x*2
z = y.view(2,2)
v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad)
输出
tensor([2.0000, 0.2000, 0.0200, 0.0020])
注意:x.grad
是和 x
同形状的张量