pytorch求梯度相关API

torch Tensor是整个package中的核心类

requires_grad设置为True，表示会对张量进行跟踪，记录张量在正向传播中做的更改（相乘相加等等操作），只有跟踪张量的更改，才能在反向求导中进行计算。

直接给tensor原地更改requires_grad为True,a.requires_grad_(True)

import torch

x = torch.ones(3, 3, requires_grad=True)
y = x + 1
print(x.grad_fn)
print(y.grad_fn)
"""
x是自定义的tensor
None
y是延伸出来的tensor
<AddBackward0 object at 0x000001BF7307B3A0>
"""

z = y * y * 3
out = z.mean()
print(z, out)

"""
tensor([[12., 12., 12.],
        [12., 12., 12.],
        [12., 12., 12.]], grad_fn=<MulBackward0>) tensor(12., grad_fn=<MeanBackward0>)
"""

 用户自己定义的tensor张量，grad_fn is None,自己创建的tensor这个属性默认是False,在神经网络里面这个默认是True

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.grad_fn)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b)
print(b.grad_fn)
"""
None
True
tensor(9.2894, grad_fn=<SumBackward0>)
<SumBackward0 object at 0x0000023EA66D8400>
"""

backward():让网络进行反向传播，前提是对张量进行了跟踪，即.requires_grad设置为True。

grad()：反向传播计算的所有梯度会累加进.grad属性中。

detach()：终止一个tensor的反向传播。

with torch.no_grad()：终止整个网络的反向传播(建议大量使用这个停止反向传播)。

# 设置反向传播
out.backward()
print(x.grad)       # grad保存了tensor反向传播的梯度
print(x.requires_grad)
with torch.no_grad():   # 不对他进行梯度求导
    print((x**2).requires_grad)

y = x.detach()
print(y.requires_grad)