pytorch使用Optimizer 优化器

最新推荐文章于 2024-11-19 10:11:06 发布

_missTu_

最新推荐文章于 2024-11-19 10:11:06 发布

阅读量446

点赞数

分类专栏： pyTorch

本文链接：https://blog.csdn.net/u013075024/article/details/106291889

版权

本文通过构建相同的神经网络，使用四种不同的优化器（SGD、Momentum、RMSprop、Adam）进行训练，对比了它们在相同数据集上的表现。实验结果显示了不同优化器在损失函数收敛速度和最终性能上的差异。

摘要由CSDN通过智能技术生成

1、构造数据

import torch
import torch.utils.data as Data
import torch.nn.functional as F
import matplotlib.pyplot as plt

torch.manual_seed(1)    # reproducible

LR = 0.01
BATCH_SIZE = 32
EPOCH = 12

# fake dataset
x = torch.unsqueeze(torch.linspace(-1, 1, 1000), dim=1)
y = x.pow(2) + 0.1*torch.normal(torch.zeros(*x.size()))

# plot dataset
plt.scatter(x.numpy(), y.numpy())
plt.show()

# 使用上节内容提到的 data loader
torch_dataset = Data.TensorDataset(x, y)
loader = Data.DataLoader(dataset=torch_dataset, batch_size=BATCH_SIZE, shuffle=True, num_workers=2,)

2、创建4个神经网络

为了对比每一种优化器, 我们给他们各自创建一个神经网络, 但这个神经网络都来自同一个 Net 形式。

# 默认的 network 形式
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(1, 20)   # hidden layer
        self.predict = torch.nn.Linear(20, 1)   # output layer