第二磅之迁移学习+finetune

迁移学习——finetune

一 权值初始化

1 保存模型参数（若拥有模型参数跳至步骤2）

假设已经创建了一个网络net=Net()

通过以下方式保存：

torch.save(net.state_dict(),'net_params.pkl')  #保存网络参数，并通过.pkl的方式存放

2 加载模型

pretrained_dict = torch.load('net_params.pkl')  #载入刚才保存的参数

3 初始化

#创建新模型，并取到的权值，对应的放到新模型中去
net=Net() #创建net
net_state_dict=net.state_dict()#获取已创建net的state_dict
#将pretrained_dict里不属于net_state_dict的剔除掉
pretrained_dict1={k:v for k,v in pretrained_dict.items() if k in net_state_dict}
#利用新产生的参数模型进行更新
net_state_dict.update(pretrained_dict1)
#加载到网络中去
net.load_state_dict(net_state_dict)

二 不同层设置不同的学习率

在进行预训练的时候通常希望每一层的学习率会有所不同，希望前面的权值更小一些；

详情见finetune.py文件叭~