首先对于微调后的网络模型可以将load_state_dict()函数中的参数strict=False,如
pre_dict = {k: v for k, v in pre_weights.items() if net.state_dict()[k].numel() == v.numel()}
net.load_state_dict(pre_dict, strict=False)
当strict = True时,要求加载的权重文件中的参数与模型中的完全匹配,设置strict = False时,即可使用权重文件中与模型匹配层的数据,其余的默认初始化。
当模型更改后不能如上述情况加载预训练权重时,可以考虑获取原模型的权重加载到新模型上。
主要参考:【Pytorch】修改网络后加载预训练权重_晴明大大的博客-CSDN博客_pytorch加载预训练权重
import torchvision.models as models
#加载原mobilenetV2模型
old_model = models.mobilenet_v2(pretrained=True)
#加载更改后的网络模型
net = MobileNetV2(num_classes=102)
#获取预训练模型参数
pretrained_dict = old_model.state_dict()
#获取更改后的网络模型参数
model_dict = net.state_dict()
#删除分类器权重
pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict and (v.shape == model_dict[k].shape)}
#更新权重
model_dict.update(pretrained_dict)
#加载权重
net.load_state_dict(model_dict)