PyTorch自动求导：Autograd包案例详解

最新推荐文章于 2023-07-16 08:29:24 发布

wulishinian

最新推荐文章于 2023-07-16 08:29:24 发布

阅读量1.5k

点赞数

本文链接：https://blog.csdn.net/wulishinian/article/details/105771876

版权

PyTorch中，所有神经网络的核心是 autograd 包。autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义（define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。

file

张量：n维向量

torch.Tensor 是这个包的核心类。如果设置它的属性 .requires_grad 为 True，那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward()，来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。

x = torch.ones(2, 2, requires_grad=True #创建一个张量并设置
requires_grad=True用来追踪其计算历史
print(x)

file

要阻止一个张量被跟踪历史，可以调用 .detach() 方法将其与计算历史分离，并阻止它未来的计算记录被跟踪。

file

为了防止跟踪历史记录（和使用内存），可以将代码块包装在 with torch.no_grad(): 中。在评估模型时特别有用，因为模型可能具有 requires_grad = True 的可训练的参数，但是我们不需要在此

关注