深度学习之微调

微调流程：

 

1. 在源数据集上预训练一个神经网络模型，即源模型
2. 创建一个新的神经网络模型（目标模型）。它复制源模型上除了输出层外的所有模型设计与参数。假设这些模型参数包含了源数据集上学习到的知识，并且这些知识同样适用于目标数据集。

         为什么不用源模型的输出层？ 它与源数据集的标签紧密相关，不用。

    3. 为目标模型添加输出大小为目标数据集类别数的输出层，随机初始化该层的模型参数。

    4. 在目标数据集上训练目标模型，从头训练输出层，其余层参数都基于源模型的参数微调得到。