2021-05-20 神经网络训练微调策略

微调(Fine- Tuning)

迁移学习策略取决于多种因素，但最重要的两个是新数据集的大小以及新数据集与原数据集的相似度。以下是4个主要情景

新数据集量小，内容上相似

这种情况下，通常情况我们只需要训练最后的输出层，即最后一层,因为可能分类的数量不同，最后一层需要做修改。(平时最常见)

新数据集量大，内容上相似

这是最理想的情况，我们可以微调整个网络，因为数据量足够大不用担心过拟合。

新数据集量小，内容不相同

由于数据较小，且相似度低，这种情况使用微调效果不是很好，可以尝试冻结前边大部卷积层，重新训练网络的高层卷积层及全连接层。

新数据集量大，内容不相同

由于数据集很大，且相似度比价低，最好不要使用预训练模型，从头开始训练整个网络。