【pytorch】微调技术

最新推荐文章于 2024-05-31 11:27:14 发布

李峻枫

最新推荐文章于 2024-05-31 11:27:14 发布

阅读量580

点赞数

分类专栏：笔记 Python # 神经网络文章标签： pytorch 深度学习神经网络预训练模型

本文链接：https://blog.csdn.net/lijf2001/article/details/125963196

版权

笔记同时被 3 个专栏收录

52 篇文章 2 订阅

订阅专栏

神经网络

28 篇文章 0 订阅

订阅专栏

Python

21 篇文章 0 订阅

订阅专栏

前言

训练神经网络是一件非常耗费时间的事情，其需要大量的算力以及大量的数据。显然从头开始训练并不是明智之选，利用好已有的资源才是明智之选。

微调技术

图像识别笼统地可以分为两步：

提取图片的特征，此部分往往通过CNN卷积神经网络实现。
根据提取的特征，进行分类，此部分往往通过全连接神经网络来实现。

识别一只猫和识别一只狗有没有类似的地方呢？
答案是有的，它们在提取图片特征都是非常相似的。
考虑CNN中卷积的作用，它就是在识别不同的边缘，因此无论是猫，还是狗，图片特征都是类似的，但是如何根据这些特征来学习才是关键。

预训练模型

在图像识别中，有许多经典的神经网络，例如vgg，resnet等，对于这些经典的网络，pytorch都是提供了训练模型好的模型的。这些某些都是在ImageNet上训练好的，有较高的精确度。利用训练好的某些进行图片特征的提取，就能够大大减少训练的耗时。

代码实现

import torch
from torch import nn
from torch.nn import functional as F
from torchsummary import summary

net = torchvision.models.resnet18(pretrained=True)
    
net.fc = nn.Linear(net.fc.in_features, 5)
nn.init.xavier_uniform_(net.fc.weight)
summary(net , input_size=(3,224,224) , device="cpu")

lr = 0.0005
loss = nn.CrossEntropyLoss(reduction="mean")

params_1x = [param for name, param in net.named_parameters()
    if name not in ["fc.weight", "fc.bias"]]
trainer = torch.optim.SGD([{'params': params_1x},{'params': net.fc.parameters(),'lr': lr * 80}],lr=lr, weight_decay=0.001)
epochs = 15

其实非常简单，甚至比自己完全手动定义神经网络都简单，因为它完全不需要自己定义网络结构。
但是这些与训练模型并不是能够直接拿过来就能使用的，还需要一些修改：

修改最后的类别数
在ImageNet中，其最后的全连接层是一个输出为 $1000$ 的向量，也就是代表着 $1000$ 个类别，在实际中，需要根据当前识别认为的类别数进行修改。
学习率
一般来说，预训练好的参数无需修改，可以将其设为无需学习的参量，也可以将其的学习率设置的非常小。而对于最后的全连接层，也就是对提取出来的图片信息进行分类的网络，其学习率就要比较大了。