CNN训练之fine tune

目的

深度卷积神经网络包含大量的参数，这就要求了我们需要大量的数据来训练它。而针对特定的一个任务，往往只有少量数据集。在此背景下，微调网络，作为迁移学习的一种应用，很大程度上（并不是完全）解决了这个困难，比如可以先在ImageNet、TinyImages数据集上训练卷积神经网络，然后将学习到的特征表述迁移到特定的图像分类任务，从而达到一个比较好的效果。但是当图像的特征分布相差较大时，单纯的迁移学习就没有那么有效了，比如将ImageNet直接迁移到医学图像上，就不能得到理想的效果。

微调训练方案

用原始数据（一般为有标签且数量足够多）训练得到一个比较好的CNN模型，然后逐渐增加目标数据在原始数据中的比例，迭代微调CNN模型。相比于直接用目标数据，此方法往往效果更好。

CAFFE上的实现

按需调节每一层的学习参数，一般为增大顶层的学习率，而减小（或设置为0）底层的学习率。在CAFFE中即修改网络配置文件中的lr_mult和decay_mult两个参数。
由于模型加载时是按照层的名字加载的，因此当我们修改修改某一层的结构时，就要修改该层的名字才能开始训练，比如我们往往会修改最后一层的num_ouput，这样最后一层就要修改名字。