目录
微调的基本思想
我们的网络架构一般可以分为两部分,分别是:特征抽取和softmax回归,
特征抽取过程一般是可以复用的,所以我们便可以微调特征抽取层(小的learning rate),大调最后的输出层(更大的learning rate),
以上便是微调的基本思想
什么是模型微调?
为什么要微调?
(1)从头开始训练,需要大量的数据,计算时间和计算资源。
(2)存在模型不收敛,参数不够优化,准确率低,模型泛化能力低,容易过拟合等风险。
什么情况下使用微调?
(1)你要使用的数据集和预训练模型的数据集相似
(2)自己构建或使用的CNN模型正确率太低
(3)数据集相似但是数据集数量太少
(4)计算资源太少