Fine tune简介

目录

Intro

Related work

Example

.1 重新训练

.2 使用新的数据集进行fine tune

 .3 修改net结构

References

---

移学习不是一种算法而是一种机器学习思想，应用到深度学习就是微调（Fine-tune)。通过修改预训练网络模型结构（如修改样本类别输出个数），选择性载入预训练网络模型权重（通常是载入除最后的全连接层的之前所有层 ，也叫瓶颈层）再用自己的数据集重新训练模型就是微调的基本步骤。 微调能够快速训练好一个模型，用相对较小的数据量，还能达到不错的结果。

Intro

开个头

因为有定制化的下游任务需求，所以需要进行fine tune

 

 

1）Transfer Learning：冻结预训练模型的全部卷积层，只训练自己定制的全连接层。
2）Extract Feature Vector：先计算出预训练模型的卷积层对所有训练和测试数据的特征向量，然后抛开预训练模型，只训练自己定制的简配版全连接网络。
3）Fine-tune：冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层），训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层。
* 注：Transfer Learning关心的问题是：什么是“知识”以及如何更好地运用之前得到的“知识”，这可以有很多方法和手段，eg：SVM，贝叶斯，CNN等。而fine-tune只是其中的一种手段，更常用于形容迁移学习的后期微调中。

Related work

https://www.cnblogs.com/LittleHann/p/17354069.html

用一个单神经元网络解释模型微调的基本原理，

• Step1：假设我们的神经网络符合下面的形式：Y = W * X
• Step2：现在我们要找到一个W，使得当输入X=2时，输出Y=1，也就是希望W=0.5：1 = W * 2
• Step3：按照神经网络的基本训练过程，首先要对W进行初始化，初始化的值符合均值为0，方差为1的分布，假设W初始化为0.1：Y = 0.1 * X
• Step4：现在开始训练FP过程，当输入X=2时，W=0.1，输出Y=0.2，这个时候实际值和目标值1的误差为0.8：1 <====== 0.2 = 0.1 * 2
• Step5：开始BP反向传导，0.8的误差经过反向传播去更新权值W，假如这次更新为W=0.2，输出位0.4，与目标值的误差为0.6：1 <====== 0.4 = 0.2 * 2
• Step6：可能经过10次或20次BP反向传导，W终于得到了我们想要的0.5：Y = 0.5 * X
• Step7：如果最开始初始化的时候有人告诉你&#