3.7 PyTorch中优化器比较

3.7 PyTorch中优化器比较

对PyTorch中优化器进行一个简单的实例进行比较说明：

1、导入需要的模块

import torch
import torch.nn as nn
import torch.utils.data as Data
import torch.nn.functional as F
import matplotlib.pyplot as plt

# 超参数
lr = 0.1
batch_size = 32
epoch = 12

2、生成数据

# 生成训练数据
# torch.unsqueeze()的作用是将一维变成二维，torch只能处理二维的数据
x = torch.unsqueeze(torch.linspace(-1, 1, 1000), dim=1)
# 0.1 * torch.normal(torch.zeros(*x.size())为增加噪点
y = x.pow(2) + 0.1 * torch.normal(torch.zeros(*x.size()))
# TensorDataset是将样本和标签打包成dataset
torch_dataset = Data.TensorDataset(x, y)
# 得到一个大批量的生成器
# DataLoader组合数据集和采样器
loader = Data.DataLoader(dataset=torch_dataset, batch_size=batch_size, shuffle=True)

3、构建神经网络

class Net(nn.Module):
    # 初始化
    def __init__(self):
        super(Net, self).__init__()
        self.hidden = nn.Linear(1, 20)
        self.predict = nn.Linear(20, 1)

    # 前向传播
    def forward(self, x):
        x = F.relu(self.hidden(x))
        x = self.predict(x)
        return x

4、使用多种优化器

# 使用多种优化器
net_SGD = Net()
net_Momentum = Net()
net_RMSProp = Net()
net_Adam = Net()
# 装进一个列表里
nets = [net_SGD, net_Momentum, net_RMSProp, net_Adam]

opt_SGD = torch.optim.SGD(net_SGD.parameters(), lr=lr)
opt_Momentum = torch.optim.SGD(net_Momentum.parameters(), lr=lr, momentum=0.9)
opt_RMSProp = torch.optim.RMSprop(net_RMSProp.parameters(), lr=lr, alpha=0.9)
opt_Adam = torch.optim.Adam(net_Adam.parameters(), lr=lr, betas=(0.9, 0.99))
optimizers = [opt_SGD, opt_Momentum, opt_RMSProp, opt_Adam]

5、训练模型

# 训练模型
# 调用均方损失函数
loss_func = torch.nn.MSELoss()
loss_his = [[], [], [], []]
for epoch in range(epoch):
    for step, (batch_x, batch_y) in enumerate(loader):
        for net, opt, l_his in zip(nets, optimizers, loss_his):
            # 从每一个网络里获取输出
            output = net(batch_x)
            # 计算每一个网络的损失
            loss = loss_func(output, batch_y)
            # 梯度清零
            opt.zero_grad()
            # 反向传播
            loss.backward()
            print(loss)
            # 更新参数
            opt.step()
            l_his.append(loss.data.numpy())
labels = ["SGD", "Momentum", "RMSProp", "Adam"]

6、可视化结果

# 可视化结果
for i, l_his in enumerate(loss_his):
    plt.plot(l_his,label=labels[i])
    # print(l_his)
plt.legend(loc="best")
plt.xlabel("Steps")
plt.ylabel("Loss")
plt.ylim((0, 0.2))
plt.show()

果然还是Adam比较好。