pytorch 使用Imagenet预训练模型训练

1、loading models

#加载以resnet50为例子
import torchvision as p

model = p.models.resnet50(pretrained=True)

   此时加载数据模型以后,我们要是思考如何利用它,但是在此之前你必须了解你加载的模型的结构。

2、处理分类数据

   如果是用来处理分类数据:

  你只需要替换最后一个全连接分类进行输出。

model.fc = nn.Sequential(nn.Linear(2048,num_classes))
######

3、作为模型的backbone

   如果你需要作为要做模型的bacbone,比如RCNN、Semantic Segment等,此时你要将这些模型预加载进行来,以下面的一个FCN8-语义切割为例子:

  这里的model就是之前Resnet50model that has pretrained Imageset dataset

class FCN(nn.Module):
    def __init__(self):
        super(FCN,self).__init__()
        self.layer1 = nn.Conv2d(256,nClasses,1,stride=1,padding=0,bias=True)
        self.trans = nn.ConvTranspose2d(nClasses,nClasses,2,stride=2,padding=0,bias=True)
        self.layer2 = nn.Conv2d(128,nClasses,1,stride=1,padding=0,bias=True)
        self.up = nn.ConvTranspose2d(nClasses,nClasses,8,stride=8,padding=0,bias=True)
        for m in self.modules():
            if isinstance(m,nn.Conv2d) or isinstance(m,nn.ConvTranspose2d):
                #m.weight.detach().normal_(0,0.01)
                nn.init.xavier_uniform(m.weight.data)
                m.bias.detach().zero_()
    def forward(self,x,model):
        x = model.conv1(x)
        x = model.bn1(x)
        x = model.relu(x)
        x = model.maxpool(x)
        x = model.layer1(x)
        x1 = model.layer2(x)
        x2 = model.layer3(x1)
        #layers.append(x)#20
        x = model.layer4(x2)
        x = model.avgpool(x)#20
        skip = self.layer1(x2)
        y = skip + x
        c = self.trans(y)
        #### 40
        v = self.layer2(x1)
        y = c+v
        x = self.up(y)
        return x

 当然还有其他写法,比如直接类的构造函数里面,你先取出来后面也是非常简单了:

values = []
for m in model.modules():
    values.append(m)
#nn.Sequential()

 

PyTorch是一个功能强大的机器学习框架。它使用动态计算图和高效的自动微分来加速深度学习。在实际编码的过程中,我们经常会使用预训练模型来加速模型训练和进一步提升模型准确率,不过一些时候我们并不需要整个预训练模型的所有参数来进行训练,而是只需要加载预训练模型的部分参数。那么在PyTorch中,我们要如何来加载预训练模型的部分参数呢? 要想加载预训练模型的部分参数,在PyTorch中,我们可以使用load_state_dict()函数实现。load_state_dict()函数在PyTorch中是将参数拷贝到新模型中的函数,新模型和预训练模型的网络结构应该是相同的。然后我们可以通过load_state_dict()函数的参数prefix和exclude来实现部分参数的加载。prefix参数是指定了预训练模型中需要加载的参数的前缀,而exclude参数是指定了我们不需要加载的参数。 例如,我们有一个预训练模型‘resnet18.pth’,它包含了resnet18模型在imagenet上训练好的模型参数。我们想要使用这个模型来进行一些迁移学习,那只需要加载resnet18最后一层fc层之前的所有模型参数,而不需要加载最后一层fc层的权重。那么,我们可以通过以下代码来实现: ``` import torch.utils.model_zoo as model_zoo import torchvision.models as models # 定义一个resnet18模型 resnet18 = models.resnet18(pretrained=False) # 加载预训练模型的所有参数 model_url = 'https://download.pytorch.org/models/resnet18-5c106cde.pth' resnet18.load_state_dict(model_zoo.load_url(model_url)) # 获取所有要加载的参数的名字 params_to_update = [] for name, param in resnet18.named_parameters(): if 'fc' not in name: params_to_update.append(name) # 加载部分预训练模型参数 state_dict = model_zoo.load_url(model_url) model_dict = resnet18.state_dict() for name, value in state_dict.items(): if name.startswith(tuple(params_to_update)): model_dict.update({name: value}) resnet18.load_state_dict(model_dict) ``` 上述代码先是定义了一个resnet18模型,然后加载resnet18预训练模型的所有参数。通过获取所有需要加载的参数的名字,然后将其加载到新模型中,从而实现了加载预训练模型的部分参数的目的。 总结: 通过使用load_state_dict()函数的prefix和exclude参数,在PyTorch中实现了对预训练模型的部分参数的加载。这将使我们在使用预训练模型时更加灵活和高效。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值