Pytorch迁移学习

参考

一、定义

迁移学习是在A问题上训练好的模型，应用到B问题上。
比较严格的定义：

迁移学习定义如下，给定了源域（source domain）和源任务（source task）、目标域（target domain）和目标任务（target task），利用源域在解决任务中获得一些知识来提升目标任务的这样一种算法。其中源域与目标域不相等或者源任务与目标任务不相同¹。

而这里域的不同可以分解为两个方面，一是特征空间不同，例如人脸的图片和鸟的图片样本空间就是不同的；或者是边缘概率分布不同，例如两个都是鸟类的样本空间，但是一个是在城市中拍到的鸟，一个是在大自然中拍到的。task的不同也体现在两方面，要么指的是标签空间不同，要么指的是条件概率不同，例如两个数据集数据分布不均衡¹。

二、Pytorch实现

1. 已实现的网络结构

Pytorch的torchvision下models中有模型如下：


这些模型可以直接调用。

2. 实现

以下内容转自https://blog.csdn.net/weixin_41278720/article/details/80759933
1.直接加载预训练模型

from torchvision import models
net = models.alexnet(pretrained=True)

2.修改某一层

from torchvision import models
from torch import nn as nn

net = models.resnet18(pretrained=True)
num_ftrs = net.fc.in_features#fc层的输入特征数
num_class = 12#类别数
net.fc = nn.Linear(num_ftrs,num_class)

只更新全连接成

from torch import optim as optim
optimizer = optim.SGD(model.fc.parameters(),lr = 0.001,momentum = 0.9)

更新所有参数

from torch import optim as optim
optimizer = optim.SGD(model.parameters(),lr = 0.001,momentum = 0.9)

有的网络没有fc层，比如squeezenet.它由两部分构成features和classifier.如输出的类别数，可以重建classifier.

#未经试验，修改需要有理论依据，计算featuremap维度使之匹配。
resnet.conv1 = nn.Conv2d(3, 64,kernel_size=5, stride=2, padding=3, bias=False)

3.加载部分预训练模型

#加载model，model是自己定义好的模型
resnet50 = models.resnet50(pretrained=True) 
model =Net(...) 
 
#读取参数 
pretrained_dict =resnet50.state_dict() 
model_dict = model.state_dict() 
 
#将pretrained_dict里不属于model_dict的键剔除掉 
pretrained_dict =  {k: v for k, v in pretrained_dict.items() if k in model_dict} 
 
# 更新现有的model_dict 
model_dict.update(pretrained_dict) 
 
# 加载我们真正需要的state_dict 
model.load_state_dict(model_dict)  

4. 加载自己的模型

方法一(推荐)：
第一种方法也是官方推荐的方法，只保存和恢复模型中的参数。
使用这种方法，我们需要自己导入模型的结构信息。

（1）保存

torch.save(model.state_dict(), PATH)
 
#example
torch.save(resnet50.state_dict(),'ckp/model.pth')    

(2)恢复

model = ModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
 
#example
resnet=resnet50(pretrained=True)
resnet.load_state_dict(torch.load('ckp/model.pth'))

方法二：

使用这种方法，将会保存模型的参数和结构信息。

(1)保存

torch.save (model, PATH)

(2)恢复

model = torch.load(PATH)

---

1. https://blog.csdn.net/mei86233824/article/details/79916884 ↩︎ ↩︎