利用torchvision.models调用现成的网络

文章介绍了ResNet50网络的简单调用方式和预训练权重的加载,包括直接加载和通过weight参数加载。讨论了如何利用预训练模型进行分类任务,强调了预处理步骤的重要性。同时,文章提到了两种改造ResNet50以适应不同分类需求的方法:冻结网络权重仅训练分类层,以及使用部分网络结构作为下游任务的backbone。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

现成的网络结构主要包括以下几种:

  • AlexNet
  • VGG
  • ResNet
  • SqueezeNet
  • DenseNet
  • Inception v3
  • GoogLeNet
  • ShuffleNet v2
  • MobileNet v2
  • ResNeXt
  • Wide ResNet
  • MNASNet

以resnet50为例,其最简单的调用方式就是:↓

model=torchvision.models.resnet50()

不需要初始化什么参数,这样得到的model就是默认的resnet50结构,可以直接用来做分类训练。

但是还提供了预训练参数权重,只需要:↓

model=torchvision.models.resnet50(pretrained=True)

这种方式会直接从官网上进行预训练权重的下载,该预训练权重是由ImageNet-1K(标准输入224x224)而来,由于其本质是一个分类网络,所以最后的全连接层大小为1000.

但是这种方式会被警告,因为pretrained参数可能以后会被舍弃,建议我们使用weight参数。
这样的话我们有两种方法

第一可以直接通过官网先把预训练权重下载好:↓

model=models.resnet50()
weight=torch.load("resnet50.pth")
model.load_state_dict(weight)

第二利用网络的weights参数:↓

from torchvision.models import resnet50,ResNet50_Weights

model=resnet50(weights=ResNet50_Weights.DEFAULT)

导入的ResNet50_Weights其实也不是现成的参数,它里面实际就是预训练权重的地址,它也是现下载的。不管是哪种现成网路的权重,一般在里面都配套了两套权重,一套是论文里面原汁原味的权重,一套是经过一些小技巧,在不改变网络结构的前提下进行改进的一套权重,而DEFAULT(默认值)就选择的是高性能的那一套:

model_1=resnet50(weights=ResNet50_Weights.IMAGENET1K_V1)

model_2=resnet50(weights=ResNet50_Weights.IMAGENET1K_V2)

其中ResNet50_Weights.DEFAULT就是ResNet50_Weights.IMAGENET1K_V2

如果我们想要直接使用现成的网络,不管是分类网络也好,目标检测网络,语义分割网络,还需要注意的就是预处理的步骤,即需要将检测的图片转化成网络训练是输入的格式,这个步骤也在ResNet50_Weights中:↓

weights=ResNet50_Weights.DEFAULT

preprocess=weight.transforms()

batch=preprocess(img).unsequeeze(0)

最后将结果映射回来即可:↓

prediction = model(batch).squeeze(0).softmax(0)
class_id = prediction.argmax().item()
score = prediction[class_id].item()
category_name = weights.meta["categories"][class_id]

其他网络的具体操作可以查看利用torch.models实现分类,目标检测,语义分割任务
但是的但是,我们基本不会使用原始的网络来进行分类,一般使用该网络进行特征的提取,换句话说它的分类层对于我们的用处不大。那么下面分为两种情况来介绍如何改造现成的网络:

将resnet50改造为其他分类网络

如果我们只想要训练分类层,那么先直接冻结网络里面所有的权重:↓

resnet50=models.resnet50(pretrained=True)

for param in resnet50.parameters():
	param.requires_grad=False

当我们直接print出resnet50的网络结构以后,最后几行是这样的↓

  (avgpool): AdaptiveAvgPool2d(output_size=(1, 1))
  (fc): Linear(in_features=2048, out_features=1000, bias=True)

这里面的fc就是我们需要更改的全连接层,其中fc其实就是全连接层名称,也可以认为是一个初始化变量,所以我们只需要改变这个初始化变量就可以了:↓

num_features=resnet50.fc.in_features

resnet50.fc=nn.Linear(num_features,10)#假设我们只需要分类10类

也可以再添加一层softmax,写成:↓

resnet50.fc=nn.Sequential(nn.Linear(num_features,10),
						  nn.LogSoftmax(dim=1))

使用resnet50部分结构组成下游网络的backbone(重点)

model=resnet50(weights=ResNet50_Weights.IMAGENET1K_V2)

feature_maps=nn.Sequential(*list(model.children())[:7])

imgs=torch.randn([2,3,224,224])

output=feature_maps(imgs)

就这么简单。

首先model.children()是一个很好用的接口,其只会将model的最外层结构分别输出,resnet50最外层一共有10个模块,我这里只去了前面7个,取出来以后利用nn.Sequential进行连接,就可以只使用其中某部分的结构了,具体可以参考
迁移学习

在现有的卷积神经网络中引入可变形卷积,可以通过以下步骤实现: 1. **理解可变形卷积**:可变形卷积(Deformable Convolution)是一种改进的卷积操作,它允许卷积核在输入特征图上以可变形的方式进行采样,从而捕捉到更丰富和复杂的变化模式。 2. **引入可变形卷积层**:在现有的卷积神经网络中,可以在某些卷积层之后插入可变形卷积层。可以通过以下方式实现: - **使用现有的深度学习框架**:如PyTorch和TensorFlow,已经有现成的可变形卷积实现。可以直接调用这些框架提供的API来引入可变形卷积层。 - **自定义实现**:如果现有的框架没有提供可变形卷积的实现,可以根据论文中的算法自行实现。 3. **调整网络结构**:在引入可变形卷积层后,需要调整网络结构以适应新的卷积操作。可以通过实验来确定哪些卷积层最适合替换为可变形卷积层。 4. **训练和调优**:在引入可变形卷积层后,需要重新训练网络。可以使用预训练的模型进行微调,以加速训练过程。 5. **评估和优化**:训练完成后,需要对模型进行评估,查看引入可变形卷积后的效果。如果效果不理想,可以进一步调整网络结构或超参数进行优化。 以下是一个简单的示例,展示了如何在PyTorch中引入可变形卷积层: ```python import torch import torch.nn as nn from torch.nn import init from torchvision import models class DeformConv2d(nn.Module): def __init__(self, inc, outc, kernel_size=3, padding=1, bias=None): super(DeformConv2d, self).__init__() self.kernel_size = kernel_size self.padding = padding self.zero_padding = nn.ZeroPad2d(padding) self.conv_kernel = nn.Conv2d(inc, outc, kernel_size=kernel_size, stride=kernel_size, bias=bias) def forward(self, x, offset): dtype = offset.data.type() ks = self.kernel_size N = offset.size(1) // 2 # generate grid from offset if self.training: offset_ = offset.detach() else: offset_ = offset N, h, w = x.size(0), x.size(2), x.size(3) N, outh, outw = offset_.size(0), offset_.size(2), offset_.size(3) # (2N, outh, outw) zero_idx = torch.zeros(N, outh, outw, dtype=dtype, device=offset_.device) # (N, 2, outh, outw) y, x = torch.meshgrid(torch.arange(0, outh, dtype=dtype, device=offset_.device), torch.arange(0, outw, dtype=dtype, device=offset_.device)) # (2N, outh, outw) y, x = y.contiguous().view(-1), x.contiguous().view(-1) # (2N, outh, outw) grid = torch.cat((x, y), 0).view(2, -1, outh, outw).type(dtype) + offset_ grid = grid.permute(1, 0, 2, 3) return self.conv_kernel(self.zero_padding(x)).view(N, -1, outh, outw) # 使用示例 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1) self.deform_conv1 = DeformConv2d(64, 64, kernel_size=3, padding=1) self.relu = nn.ReLU(inplace=True) def forward(self, x): x = self.relu(self.conv1(x)) offset = torch.randn(x.size(0), 2*9, x.size(2), x.size(3), device=x.device) x = self.deform_conv1(x, offset) return x # 初始化网络 net = Net() ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值