【笔记】动手学深度学习 - 微调（迁移学习）

视频网址：37 微调【动手学深度学习v2】_哔哩哔哩_bilibili

什么是微调？

一般来说自己的数据集并不会和ImageNet上面的数据集这么大，而我们训练模型的时候又希望数据集越大越好，所以这个时候我们就使用ImageNet等庞大的数据集对自己的网络进行一个预训练，让自己网络在使用自己数据集训练的时候有一个比较好的大方向正确。

先在源数据集上训练之后，放到自己数据集上跑时，让模型初始化不再是随机，而是复制之前的在源数据集上得到的模型数据，只有最后做分类的全连接层是随机的： 

这样初始化的时候就已经和最终想要的模型很像了。

因为模型已经处于比较好的状态了，所以：

        使用更小的学习率

        使用更少的数据迭代

越是层数浅，所学习的东西越是笼统，学习的更加语义化，而更深之后可能才是去真正识别的功能。即层数越深，越和你的分类的标号越相关，层数越浅，越是底层。所以浅层的训练更加的通用，高层的参数不同的数据集差别越大。

作用：

所以可以把底层的权重更新固定住不优化，这样模型复杂度更低，就会快很多，是一个更强的正则的效果。或者你的数据集很小的情况下，你可以固定住浅层，这样大方向就不会错，就不会导致过拟合了。