优化器optimizer

最新推荐文章于 2024-08-24 09:48:55 发布

桀骜不驯的山里男人

最新推荐文章于 2024-08-24 09:48:55 发布

阅读量447

点赞数 1

分类专栏： pytorch冒险之旅概念基础篇文章标签：机器学习深度学习

本文链接：https://blog.csdn.net/m0_56654441/article/details/120575248

版权

本文探讨了深度学习中优化器的重要操作，包括如何使用zero_grad()方法手动清零梯度，以确保每次更新权重前梯度从零开始。此外，还介绍了state_dict()函数，该函数用于获取模型的参数，返回一个包含权重和偏置的字典结构。

摘要由CSDN通过智能技术生成

1.首先谈的第一个重要的 zero_grad() 梯度清零。

由于每次梯度计算完成后，网络中的优化器梯度不会自动清零，所以需要手动输入函数进行优化器梯度清零。例子：
for i, data in enumerate(dataLoader):
    # 获取图片和标签
    inputs, labels = data
    inputs, labels = Variable(inputs), Variable(labels)

    optimizer.zero_grad() #优化器梯度清零

    outputs = net(inputs)
    loss = criterion(outputs, labels) #计算损失函数
    loss.backward()  损失函数回传/参数更新
    optimizer.step() 优化器更新/参数更新
1

2.谈一下state_dict() 获取模型参数

里面存放一个字典，存放模型的权重、bias偏置，以字典形式返回。例子：
#导入所需要的库函数
import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
impo