微调
由于训练样本数量有限,训练模型的准确性可能无法满足实际要求。
为了解决上述问题,一个显而易见的解决方案是收集更多的数据。 但是,收集和标记数据可能需要大量的时间和金钱。
另一种解决方案是应用迁移学习(transfer learning)将从源数据集学到的知识迁移到目标数据集
步骤
在本节中,我们将介绍迁移学习中的常见技巧:微调(fine-tuning)。如图所示,微调包括以下四个步骤:
- 在源数据集(例如ImageNet数据集)上预训练神经网络模型,即源模型。
- 创建一个新的神经网络模型,即目标模型。这将复制源模型上的所有模型设计及其参数(输出层除外)。我们假定这些模型参数包含从源数据集中学到的知识,这些知识也将适用于目标数据集。我们还假设源模型的输出层与源数据集的标签密切相关;因此不在目标模型中使用该层。
- 向目标模型添加输出层,其输出数是目标数据集中的类别数。然后随机初始化该层的模型参数。
- 在目标数据集(如椅子数据集)上训练目标模型。输出层将从头开始进行训练,而所有其他层的参数将根据源模型的参数进行微调。
当目标数据集比源数据集小得多时,微调有助于提高模型的泛化能力。
小得多时,微调有助于提高模型的泛化能力。