pytorch不加载fc_pytorch预训练

Pytorch预训练模型以及修改

pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型(模型参数)。往往为了加快学习进度，训练的初期直接加载pretrain模型中预先训练好的参数。加载model如下所示：

import torchvision.models as models

1.加载网络结构和预训练参数：resnet34 = models.resnet34(pretrained=True)

2.#只加载网络结构，不加载预训练参数，即不需要用预训练模型的参数来初始化：

resnet18 = models.resnet18(pretrained=False) #pretrained参数默认是False,为了代码清晰，最好还是加上参数赋值.

print resnet18 #打印网络结构

resnet18.load_state_dict(torch.load(path_params.pkl))#其中，path_params.pkl为预训练模型参数的保存路径。加载预先下载好的预训练参数到resnet18，用预训练模型的参数初始化resnet18的层，此时resnet18发生了改变。调用model的load_state_dict方法用预训练的模型参数来初始化自己定义的新网络结构，这个方法就是PyTorch中通用的用一个模型的参数初始化另一个模型的层的操作。load_state_dict方法还有一个重要的参数是strict，该参数默认是True，表示预训练模型的层和自己定义的网络结构层严格对应相等(比如层名和维度)。故，当新定义的网络(model_dict)和预训练网络(pretrained_dict)的层名不严格相等时，需要先将pretrained_dict里不属于model_dict的键剔除掉 ：

pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict} ，再用预训练模型参数更新model_dict，最后用load_state_dict方法初始化自己定义的新网络结构。

print resnet18 #打印的还是网络结构

注意: cnn = resnet18.load_state_dict(torch.load( path_params.pkl )) #是错误的，这样cnn将是nonetype

pre_dict = resnet18.state_dict() #按键值对将模型参数加载到pre_dict

print for k, v in pre_dict.items(): # 打印模型参数

for k, v in pre_dict.items():

print k  #打印模型每层命名

#model是自己定义好的新网络模型，将pretrained_dict和model_dict中命名一致的层加入pretrained_dict(包括参数)。

pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}

预训练模型的修改(具体要求不同，则用到的修改方式不同。)

1. 参数修改

对于简单的参数修改，这里以resnet预训练模型举例，resnet源代码在Github。 resnet网络最后一层分类层fc是对1000种类型进行划分，对于自己的数据集，如果只有9类，修改的代码如下：

# coding=UTF-8

import torchvision.models as models

#调用模型

model = models.resnet50(pretrained=True)

#提取fc层中固定的参数

fc_featur