import torch
print(torch.__version__)
2.0.0
原理
tensor的.requires_grad设置为
True时,它将开始追踪(track)在其上的所有操作。完成计算后,可以调用.backward()
来完成所有梯度计算。此Tensor
的梯度将累积到.grad
属性中。
x = torch.ones(2, 2, requires_grad=True)
print(x)
print(x.grad)
print(x.grad_fn)
tensor([[1., 1.],
[1., 1.]], requires_grad=True)
None
None
Function
是另外一个很重要的类。Tensor
和Function
互相结合就可以构建一个记录有整个计算过程的非循环图。每个Tensor
都有一个.grad_fn
属性,该属性即创建该Tensor
的Function
(除非用户创建的Tensor
s时设置了grad_fn=None
)。
y = x + 2
print(y)
# print(y.grad)
print(y.grad_fn)
tensor([[3., 3.],
[3., 3.]], grad_fn=<AddBackward0>)
<AddBackward0 object at 0x000002801B311430>
# y.backward()
# RuntimeError: grad can be implicitly created only for scalar outputs
y.backward(torch.tensor([[1,1],[2,2]])) # 对非标量求导,需要加一个矩阵表示起点
print(x.grad)
x.grad.data.zero_()
tensor([[1., 1.],
[2., 2.]])
tensor([[0., 0.],
[0., 0.]])
z=x.sum()
z.backward()
print(x.grad)
x.grad.data.zero_()
print()
tensor([[1., 1.],
[1., 1.]])
当被求导的函数不是标量时,直接求导pytorh是不支持的,此时传入一个与被求导函数匹配的张量
x1=torch.tensor([1.,2,3,4],requires_grad=True)
y1=torch.dot(x1,x1)
print(x1,y1)
# x1.grad.data.zero_()
y1.backward(torch.tensor(2))
print(x1.grad)
x1.grad.data.zero_()
print()
tensor([1., 2., 3., 4.], requires_grad=True) tensor(30., grad_fn=<DotBackward0>)
tensor([ 4., 8., 12., 16.])