pytorch基础-使用 TORCH.AUTOGRAD 进行自动微分（5）

一只小小的土拨鼠

已于 2022-05-28 17:43:05 修改

阅读量1.7k

点赞数

分类专栏：深度学习文章标签： pytorch 深度学习神经网络

于 2022-05-03 23:16:29 首次发布

本文链接：https://blog.csdn.net/qq_40379132/article/details/124562091

版权

深度学习专栏收录该内容

38 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了PyTorch中反向传播的工作原理，包括张量的requires_grad属性、计算图、梯度计算以及autograd包的自动微分功能。通过一个简单的单层神经网络实例，展示了如何定义计算图，计算损失函数的梯度，并利用这些梯度更新参数。此外，还讨论了如何禁用梯度跟踪以提高效率，以及计算雅可比积的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在训练神经网络时，最常用的算法是反向传播。PyTorch的反向传播(即tensor.backward())是通过autograd包来实现的，autograd包会根据tensor进行过的数学运算来自动计算其对应的梯度。在该算法中，参数（模型权重）根据损失函数相对于给定参数的梯度进行调整。为了计算这些梯度，Pytorch有一个名为 torch.autograd 的内置微分引擎。它支持自动计算任何计算图形的梯度。本例中考虑最简单的单层神经网络，输入x，参数w和b，以及一些损失函数。可通过以下方式在PyTorch中定义：

import torch

x = torch.ones(5)  # input tensor，返回一个全为1 的张量，形状由可变参数sizes定义
y = torch.zeros(3)  # expected output，返回一个全为标量 0 的张量
w = torch.randn(5, 3, requires_grad=True)#返回一个符合均值为0，方差为1的正态分布（标准正态分布）中填充随机数的张量
b = torch.randn(3, requires_grad=True)  #requires_grad(bool, optional) –autograd是否应该记录对返回张量的操作(说明当前量是否需要在计算中保留对应的梯度信息)。
z = torch.ma