pytorch快速搭建卷积神经网络【优化器_第1课_梯度清零_zero_grad】

【网络星空】

已于 2022-07-17 22:36:13 修改

阅读量490

点赞数 1

分类专栏：优化器文章标签： pytorch

于 2022-05-04 19:00:52 首次发布

本文链接：https://blog.csdn.net/weixin_42483745/article/details/124575151

版权

优化器专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了PyTorch中`zero_grad()`函数的用途，该函数用于在每次权重更新前清零梯度。通过示例展示了如何在优化器中使用`zero_grad()`来初始化梯度，确保模型训练过程的正确进行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

理论

功能：将梯度清零。
由于 PyTorch 不会自动清零梯度，所以在每一次更新前会进行此操作。

案例

# coding: utf-8

import torch
import torch.optim as optim

# ----------------------------------- zero_grad

w1 = torch.randn(2, 2)
w1.requires_grad = True

w2 = torch.randn(2, 2)
w2.requires_grad = True

optimizer = optim.SGD([w1, w2], lr=0.001, momentum=0.9)

# optimizer.param_groups:{'params': [tensor([[0.3673, 0.6950],[0.4002, 0.1766]],requires_grad=True)
# 参数组：optimizer.param_groups 参数组第一个参数：optimizer.param_groups[0] 
# 参数组第一个参数中params键值：optimizer.param_groups[0]['params']
# 参数组第一个参数中params键值对应的第一个元素：optimizer.param_groups[0]['params'][0]
optimizer.param_groups[0]['params'][0].grad = torch.randn(2, 2)

print('参数w1的梯度：')
print(optimizer.param_groups[0]['params'][0].grad, '\n')  # 参数组，第一个参数(w1)的梯度

optimizer.zero_grad()
print('执行zero_grad()之后，参数w1的梯度：')
print(optimizer.param_groups[0]['params'][0].grad)  # 参数组，第一个参数(w1)的梯度

结果

参数w1的梯度：
tensor([[ 0.5045,  0.7872],
        [ 0.4429, -0.2255]]) 

执行zero_grad()之后，参数w1的梯度：
tensor([[0., 0.],
        [0., 0.]])