神经网络学习笔记（二）：Fine-tuning

原文链接：Fine-tuning Wiki

微调（Fine-tuning）是指选取已经针对给定任务完成训练的网络模型，用来进一步执行类似任务的过程。

假设原本给定的任务与新任务类似，那么如果采用已经设计和训练好的网络能够让我们有效地利用网络前层先前提取特征的训练成果，而无需从头开发该特征提取网络。微调的具体过程：

• 替换输出层，例如，如果先前经过训练能够识别（在 ImageNet 模型的情况下）1,000个类别，那么可以通过替换输出层来实现自定义输出类别数目；
• 然后，训练替换到模型的新输出层从网络前端获取较低级别的特征，并使用 SGD 将它们映射到所期望的输出类别；
• 完成此操作后，模型中的其他后期层可以设置为“Trainable = True”，这样在进一步的 SGD 训练过程中，它们的权重也可以针对新任务进行微调。

关于猫与狗的例子：

• 最初的任务是将图像分类为1000个 ImageNet 类别；新的任务是将图像分为两类，即猫或狗，那么根据微调的定义，删除或者弹出最后一层；
• 所有其他较低层的可训练设置为 false，因为它们已经过训练（作为原始任务的一部分）；
• 为了使可训练的 false 生效，需要再次编译模型，如 vgg16.finetune（）函数中的最后一行。