优化器介绍

🌞欢迎莅临我的个人主页👈🏻这里是我专注于深度学习领域、用心分享知识精粹与智慧火花的独特角落！🍉

🌈如果大家喜欢文章，欢迎：关注🍷+点赞👍🏻+评论✍🏻+收藏🌟，如有错误敬请指正！🪐

🍓“请不要相信胜利就像山坡上的蒲公英一样唾手可得，但是请相信生活中总有美好值得我们全力以赴，哪怕粉身碎骨！”🌹

目录

优化器

实战环节

---

学习之前我们先要了解为什么会有优化器这个东西：

在训练过程中，我们首先会计算损失函数，然后使用优化器来更新模型参数。这个过程通常被称为反向传播（Backpropagation），其中优化器根据损失函数的梯度来决定参数的更新方向和大小，通过不断更新以提高模型的性能。反向传播机制可参考：损失函数介绍

注：本部分只涉及优化器的基本使用及相关代码说明，若要深究其原理请自行查阅。

优化器

        优化器（Optimizer）是深度学习中用于调整模型参数以最小化损失函数的算法。在训练神经网络时，优化器通过计算梯度并更新参数的方式来不断调整模型，通过多次迭代，不断调整模型参数，使得损失函数逐渐减小，模型可以更快地收敛和拟合训练数据、避免局部最优点、提高模型的泛化能力等。官方文档说明：优化器

 这里通过随机梯度下降（Stochastic Gradient Descent，SGD）优化器为例来解释一下优化器的具体操作流程：

• 创建优化器结构，一般只需要传入模型参数及学习速率即可，其中学习速率需适中，过大会使模型训练不稳定，过小训练速度太慢，建议前期设置较大，后期逐渐减小来加强模型训练
• 遍历数据集，将数据集传入神经网络进行处理，随后利用损失函数计算预测与真实间的误差，将误差进行反向传播计算每一个参数对应的梯度，通过优化器对梯度进行相应调整
• 每一次调整后都需要将前一次的梯度清零，防止梯度累计，影响下一次的优化

Example:

optimizer = optim.SGD(model.parameters(), lr=0.01)
for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()

实战环节

        本部分依旧是以 CIFAR10 数据集为例，经过3次卷积和池化后再线性变换得到大小为10的输出向量，这里为直观的显示优化器对模型参数的调整，我们训练了20轮，同时输出每一轮数据集中的误差总和。

相关代码如下：

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Linear
from torch.nn.modules.flatten import Flatten
from torch.utils.data import DataLoader


dataset = torchvision.datasets.CIFAR10("../data", train=False, transform=torchvision.transforms.ToTensor(),
                                       download=True)
dataloader = DataLoader(dataset, batch_size=64)


class Mydata(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.conv1 = Conv2d(3, 32, 5, padding=2)
        self.maxpool1 = MaxPool2d(2)
        self.conv2 = Conv2d(32, 32, 5, padding=2)
        self.maxpool2 = MaxPool2d(2)
        self.conv3 = Conv2d(32, 64, 5, padding=2)
        self.maxpool3 = MaxPool2d(2)
        self.flatten = Flatten()
        self.linear1 = Linear(64 * 4 * 4, 64)
        self.linear2 = Linear(64, 10)

    def forward(self, m):
        m = self.conv1(m)
        m = self.maxpool1(m)
        m = self.conv2(m)
        m = self.maxpool2(m)
        m = self.conv3(m)
        m = self.maxpool3(m)
        m = self.flatten(m)
        m = self.linear1(m)
        m = self.linear2(m)
        return m

loss = nn.CrossEntropyLoss()  
mydata= Mydata()
optim = torch.optim.SGD(tudui.parameters(), lr=0.01)
for epoch in range(20):
    running_loss = 0.0
    for data in dataloader:
        imgs, targets = data
        outputs = mydata(imgs)
        result_loss = loss(outputs, targets) 
        optim.zero_grad()
        result_loss.backward() 
        optim.step()
        running_loss = running_loss + result_loss
    print(running_loss)

控制台输出结果：

从输出结果可以看出，经过优化器的调整后，数据集误差总和在逐步下降，这代表模型对于数据的适应性能越来越强。

总结：以上只是一个最基础的使用优化器来进行调优的过程，在实际应用当中，我们应该依据损失函数选择适合的优化器进行训练，因为不同的优化器在不同的场景下会表现出不同的效果，相应的默认参数也不一致，因此选择合适的优化器可以帮助提高模型的训练速度和性能。