【详解】Transfer learning迁移学习 附代码

迁移学习的训练策略：
1、先冻结卷积层只训练全链接层，这一步需要把结果最好的那个模型保存起来。
2、加载上一步保存的那个最优模型，在这个模型的基础上，再以更小的学习率训练所有层，更新网络的所有权重参数，微调，并且学习率衰减，以达到更好的效果。

• 当自己的数据集少的时候，可以除了最后几层用作初始化，前面层的权值进行微调，一般不进行大的更改，冻住参数；
• 当自己的数据集中的时候，只冻住前面 1/2 层的参数，后面的只做初始化;
• 当自己的数据集比较大的时候，可以只使用Source 模型的参数当做初始化;

1、只调整一层：以后禁止使用这种写法

model    = torchvision.models.vgg16(pretrained=False)
vgg16pth = 'model_weight/vgg16.pth'
model.load_state_dict(torch.load(vgg16pth))

# 冻结卷积层的参数
for params in model.features.parameters():
    params.requires_grad = False

# 微调 model.classifier部分
model.classifier[-1].out_features = 5
model = model.to(device)

2、调整整个classifier层：要调整把整个分类层都要调整一下

# 微调 model.classifier部分
fc_inputs_num 	 = model.classifier[0].in_features

model.classifier = nn.Sequential( 	nn.Linear(fc_inputs_num, 1024),
								    nn.ReLU(inplace=True),
								    nn.Dropout(p=0.5),
								    nn.Linear(1024, 5)		)
model = model.to(device)

参考

• https://indico.io/blog/exploring-computer-vision-transfer-learning/
• https://www.jianshu.com/p/12748763286e