pytorch：固定部分层参数，固定单个模型

固定部分层参数

class RESNET_attention(nn.Module):
    def __init__(self, model, pretrained):
        super(RESNET_attetnion, self).__init__()
        self.resnet = model(pretrained) # 这个model被固定
        for p in self.parameters():
            p.requires_grad = False
        self.f = nn.Conv2d(2048, 512, 1)
        self.g = nn.Conv2d(2048, 512, 1)
        self.h = nn.Conv2d(2048, 2048, 1)
        self.softmax = nn.Softmax(-1)
        self.gamma = nn.Parameter(torch.FloatTensor([0.0]))
        self.avgpool = nn.AvgPool2d(7, stride=1)
        self.resnet.fc = nn.Linear(2048, 10)

但是注意需要在optimizer中添加上这样的一句话
filter(lambda p: p.requires_grad, model.parameters())。

optimer =

固定指定层的参数

for k,v in model.named_parameters():
     if k.startswith ='XXX':
         v.requires_grad=False#固定参数

不同层设置不同的学习率