pytorch模型权重与模型微调_models，一线互联网大厂面试真题系统收录

2401_84182793

已于 2024-04-10 09:59:23 修改

阅读量381

点赞数 5

分类专栏： 2024年程序员学习文章标签： pytorch 面试人工智能

于 2024-04-10 09:59:21 首次发布

本文链接：https://blog.csdn.net/2401_84182793/article/details/137584983

版权

2024年程序员学习专栏收录该内容

60 篇文章 0 订阅

订阅专栏

随着深度学习的发展，在大模型的训练上都是在一些较大数据集上进行训练的，比如Imagenet-1k，Imagenet-11k,甚至是ImageNet-21k等。但我们在实际应用中，我们的数据集可能比较小，只有几千张照片，这时从头训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越高，过拟合无法避免。
因为试用于ImageNet数据集的复杂模型，在一些小的数据集上可能会过拟合，同时因为数据量有限，最终训练得到的模型的精度也可能达不到实用要求。

解决上述问题的方法：

收集更多数据集，当然这对于研究成本会大大增加。
应用迁移学习，从源数据集中学到知识迁移到目标数据集上。迁移学习的一大应用场景就是模型微调，简单的来说就是把在别人训练好的基础上，换成自己的数据集继续训练，来调整参数。Pytorch中提供很多预训练模型，学习如何进行模型微调，可以大大提升自己任务的质量和速度。

一、模型微调的流程

1.1 在源数据集上预训练一个神经网络模型，即源模型。
1.2 创建一个新的神经网络模型，即目标模型。他复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同样试用于目标数据集，我们还假设源模型的输出层跟源数据集的标签紧密相关，因此输出层在目标模型上可以采用。
1.3 为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。
1.4 在目标数据集上训练目标模型，我们将从头训练输出层，而其余层的参数都是基于源模型的参数微调得到的。

**二、使用已经有的模型结构

2.1 实例化网络


1	import torchvision.models as models
2	resnet18 = models.resnet18()
3	# resnet18 = models.resnet18(pretrained=False) 等价于与上面的表达式
4	alexnet = models.alexnet()
5	vgg16 = models.vgg16()
6	squeezenet = models.squeezenet1_0()
7	densenet = models.densenet161()
8	inception = models.inception_v3()
9	googlenet = models.googlenet()
10	shufflenet = models.shufflenet_v2_x1_0()
11	mobilenet_v2 = models.mobilenet_v2()
12	mobilenet_v3_large = models.mobilenet_v3_large()
13	mobilenet_v3_small = models.mobilenet_v3_small()
14	resnext50_32x4d = models.resnext50_32x4d()
15	wide_resnet50_2 = models.wide_resnet50_2()
16	mnasnet = models.mnasnet1_0()