PyTorch教程-2：PyTorch中反向传播的梯度追踪与计算

PyTorch 教程系列：https://blog.csdn.net/qq_38962621/category_10652223.html

PyTorch教程-2：PyTorch中反向传播的梯度追踪与计算

基本原理

torch.Tensor类具有一个属性 requires_grad 用以表示该tensor是否需要计算梯度，如果该属性设置为True的话，表示这个张量需要计算梯度，计算梯度的张量会跟踪其在后续的所有运算，当我们完成计算后需要反向传播（back propagation）计算梯度时，使用 .backward() 即可自动计算梯度。当然，对于一些我们不需要一直跟踪记录运算的tensor，也可以取消这一操作，尤其是在对模型进行验证的时候，不会对变量再做反向传播，所以自然不需要再进行追踪，从而减少运算。

追踪计算历史

一个tensor的 requires_grad 属性决定了这个tensor是否被追踪运算，对其主要的操作方式：

• 查看/返回该属性：tensor.requires_grad
• 定义该属性的值：在创建一个tensor时显式地声明 requires_grad 变量为True（默认为False）
• 更改该属性的值：使用 tensor.requires_grad_() 改变其值

a=torch.rand(2,2,requires_grad=True)
print(a.requires_grad)
a.requires_grad_(False)
print(a.requires_grad)

---

True
False

每当对于requires_grad 为True的tensor进行一些运算时（除了用户直接赋值、创建等操作），这些操作都会保存在变量的 grad_fn 属性中，该属性返回一个操作，即是上一个作用在这个变量上的操作：

x=torch.ones