自动求导——记录一下大佬的链接

import torch

print(torch.__version__)

2.0.0

原理

tensor的.requires_grad设置为True时，它将开始追踪(track)在其上的所有操作。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。

x = torch.ones(2, 2, requires_grad=True)
print(x)
print(x.grad)
print(x.grad_fn)

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
None
None

Function是另外一个很重要的类。Tensor和Function互相结合就可以构建一个记录有整个计算过程的非循环图。每个Tensor都有一个.grad_fn属性，该属性即创建该Tensor的Function（除非用户创建的Tensors时设置了grad_fn=None）。

y = x + 2
print(y)
# print(y.grad)
print(y.grad_fn)

tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
<AddBackward0 object at 0x000002801B311430>

# y.backward()
# RuntimeError: grad can be implicitly created only for scalar outputs

y.backward(torch.tensor([[1,1],[2,2]])) # 对非标量求导，需要加一个矩阵表示起点
print(x.grad)
x.grad.data.zero_()

tensor([[1., 1.],
        [2., 2.]])





tensor([[0., 0.],
        [0., 0.]])

z=x.sum()

z.backward()
print(x.grad)
x.grad.data.zero_()
print()

tensor([[1., 1.],
        [1., 1.]])

​

当被求导的函数不是标量时，直接求导pytorh是不支持的，此时传入一个与被求导函数匹配的张量

x1=torch.tensor([1.,2,3,4],requires_grad=True)
y1=torch.dot(x1,x1)
print(x1,y1)

# x1.grad.data.zero_()
y1.backward(torch.tensor(2))
print(x1.grad)
x1.grad.data.zero_()
print()

tensor([1., 2., 3., 4.], requires_grad=True) tensor(30., grad_fn=<DotBackward0>)
tensor([ 4.,  8., 12., 16.])

​