pytorch 神经网络的优化函数

下面展示四种优化器使用代码。

#// optimizer
import torch
import torch.utils.data as Data
import matplotlib.pyplot as plt
#超参数
LR = 0.01
BATCH_SIZE = 32
EPOCH = 12

#生成伪数据
x=torch.unsqueeze(torch.linspace(-1,1,1000),dim= 1) # x data (tensor) ,shape=(100,1)
y = x.pow(2) +0.2*torch.rand(x.size()) # y=x的平方
# plt.scatter (x.data.numpy(),y.data.numpy())
# plt.show()
torch_dataset=Data.TensorDataset(x,y)
loader=Data.DataLoader(
    dataset=torch_dataset ,
    batch_size=BATCH_SIZE ,
    shuffle= True ,  #随机打乱处理的数据
    num_workers=0,  #dataloader一次性创建num_worker个工作进程
)
#定义网络结构
class Net(torch.nn.Module):
    def __init__(self):
        super(Net,self ).__init__()
        self.hidden= torch.nn.Linear(1,20)
        self.predict=torch.nn.Linear(20,1 )
    def forward(self,x):
            x=torch.relu(self.hidden(x) )
            x=self.predict(x)
            return x

# 四个不同的神经网络
net_SGD         = Net()
net_Momentum    = Net()
net_RMSprop     = Net()
net_Adam        = Net()
nets = [net_SGD, net_Momentum, net_RMSprop, net_Adam]

#四个不同的优化器
opt_SGD =torch.optim.SGD(net_SGD.parameters(), lr=0.5)
opt_Momentum    = torch.optim.SGD(net_Momentum.parameters(), lr=LR, momentum=0.8)
opt_RMSprop =torch.optim.RMSprop(net_RMSprop.parameters(), lr=LR,alpha= 0.9)
opt_Adam =torch.optim.Adam(net_Adam.parameters(), lr=LR,betas=(0.9,0.99) )
optimizers = [opt_SGD, opt_Momentum, opt_RMSprop, opt_Adam]

loss_function = torch.nn.MSELoss()
loss_his=[[],[],[],[]]

for epoch in range(EPOCH):  #训练全部数据EPOCH次
    for step,(batch_x,batch_y) in enumerate(loader):   #enumerate返回(枚举)对象。
        for net,opt,l_his in zip(nets,optimizers ,loss_his ):
            output=net(batch_x )
            loss=loss_function(output ,batch_y )
            opt.zero_grad()  # 清空上一步的残余更新参数值
            loss.backward()  # 误差反向传播, 计算参数更新值
            opt.step()  # 将参数更新值施加到 net 的 parameters 上
            l_his.append(loss.data.numpy())  # loss recoder

labels=['SGD','Momentum','RMSprop','Adam']
for i,l_his in enumerate(loss_his ):
    plt.plot(l_his, label=labels[i] )
plt.legend(loc='best')
plt.xlabel('steps')
plt.ylabel('loss')
plt.ylim(0,0.2)
plt.show()

结果