迁移学习-李沐

coding-day

已于 2022-03-22 08:14:08 修改

阅读量2.1k

点赞数 1

分类专栏：李沐-机器学习文章标签：迁移学习深度学习神经网络

于 2022-03-16 11:08:42 首次发布

原文链接：https://www.bilibili.com/read/cv14694414?from=note

版权

10 篇文章 26 订阅

订阅专栏

1、什么是迁移学习

能在一个任务上学习一个模型，然后用其来解决相关的别的任务。
迁移学习的途径
a.做好一个模型将其做成一个特征提取的模块

Word2Vec-在文本上做训练一个单层神经网络，在训练好之后，每一个词对应一个特征，然后用这个特征去别的事情；
ResNet-对图片做特征，然后用这个特征来对作为另一个模型的输入，这样假设效果非常好，那么就可以代替人工去抽取特征；
I3D-用来对视频做特征
b、在一个相关的任务上训练一个模型，然后在另一个任务上直接用它
c、训练好一个模型，然后在一个新的任务上对其做微调，使模型能更好的适应新的任务；

2、在计算机视觉中应用

训练好一个模型，然后在一个新的任务上对其做微调，使模型能更好的适应新的任务；
在CV的迁移学习，我们是希望存在很多数据的一些应用上比较好的模型，能将它的知识拓展到我们自己的任务上去；
通常任务数据集会比大的数据集（ImageNet）要小很多（一开始不会花太多钱去标注很多的数据，标好了一些看看模型效果怎么样，好的话再继续投入进去，这样是一个迭代的过程），想要快速的迭代，看看能不能用比较大的数据集来将一些学到的东西迁移到我们自己的任务上面去。

3、预训练模型

神经网络分为两个部分，一个是编码器，用于特征提取，主要的目的是将原始的像素转化在一个语义空间中可以线性可分的一些特征；一个是解码器，主要是线性分类器，将编码器表示映射成想要的符号，或者做一些决策；
预训练模型：在一个比较大的数据集上训练好一个模型，这个模型会有一定的泛化能力（放到新的模型或者新的数据集上，该模型还是有效果的），该模型目前主要用于图片分类，但是也可以用于目标检测

4、微调

将预训练好的模型用于新的任务上叫做fine-tuning(微调)，通常在深度学习中，微调可以带来最好的效果，但是也有一定的开销。
微调如何做的（how）
在新的任务上构建一个新的模型，新的模型架构和预训练模型的架构一样；
在找到合适的预训练模型之后要初始化我们的模型，将预训练模型的权重（除了最后一层）复制给新的模型，**即可以把预训练模型当成特征提取器；**最后一层解码器还是随机权重（标号和预训练模型的标号是不一样的）
初始化完成之后，即开始学习
小技巧，限制微调后的学习率，限制学习率可以使得我们不会走太远，可以达到限制搜索空间的目的；

5、限制搜索空间的其他方法-固定最底层

6、如何去找微调模型

7、微调的一些应用

在大的数据集上训练好模型在微调到自己应用的CV领域上广泛的应用；
新的任务包括目标检测、语义分割
现在的观点是微调加速了收敛，**微调让初始的点不再是一个随机的点而是一个距离最终目标比较近的点，使得损失比较平滑，**但是不一定可以提升精度，因为微调只是改变初始值而已，跟随机初始化没有区别，只要走的足够远也能摆脱初始值的影响。

8、总结

关注