（图像处理∩Deep-Learning）中杂七杂八的概念

1、fine-tuning（https://blog.csdn.net/weixin_42137700/article/details/82107208）

微调，在预训练的网络下进行微调，什么意思呢？就是当我有一个新的数据集时，希望我的网络能够更好的对我的数据进行预测的时候，就替换掉预训练好的网络模型中的一些数据，对一部分（通常是高层）或者是全部的层进行继续训练。这样得到的网络对我自己的新数据有更好的performance。plus：低层特征是图像的通用特征，而高层特征是与类别有关的特征。

对于这种fine-tuning是如何选择性的进行使用呢？主要存在4种情况：

• 新数据集比较小且和原数据集相似。因为新数据集比较小，如果fine-tune可能会过拟合；又因为新旧数据集类似，我们期望他们高层特征类似，可以使用预训练网络当做特征提取器，用提取的特征训练线性分类器。
• 新数据集大且和原数据集相似。因为新数据集足够大，可以fine-tune整个网络。
• 新数据集小且和原数据集不相似。新数据集小，最好不要fine-tune，和原数据集不类似，最好也不使用高层特征。这时可是使用前面层的特征来训练SVM分类器。