pytorch冻结模型

最新推荐文章于 2023-12-24 09:33:00 发布

深度学习扛把子

最新推荐文章于 2023-12-24 09:33:00 发布

阅读量2.3k

点赞数 1

分类专栏： pytorch

本文链接：https://blog.csdn.net/qq_16792139/article/details/114522094

版权

pytorch 专栏收录该内容

37 篇文章 1 订阅

订阅专栏

该博客介绍了如何在PyTorch中对预训练的ResNet18模型进行微调。通过设置模型参数的requires_grad属性为False，可以冻结除最后一层之外的所有层，避免其权重在训练过程中更新。模型的最后一层被替换为一个线性层，用于适应新的任务。随后，使用SGD优化器仅更新新层的参数，设置合适的学习率和动量。

摘要由CSDN通过智能技术生成

当您想要冻结部分模型时，或者您事先知道不会使用某些参数的梯度。

例如，如果要对预先训练的CNN进行优化，只要切换冻结模型中的requires_grad标志就足够了，

直到计算到最后一层才会保存中间缓冲区，其中的仿射变换（卷级操作等）将使用需要梯度的权重并且网络的输出也将需要它们。

import torchvision
import torch.nn as nn
from torch import optim
model = torchvision.models.resnet18(pretrained=True)
for param in model.parameters():
    param.requires_grad=False

model.fc = nn.Linear(512,100)

optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9)

这里将最后一层替换成了 model.fc = nn.Linear(512,100)原先是renet18中是，nn.Linear(512,1000)