迁移学习的使用技巧和在不同数据集上的选择

迁移学习的使用技巧和在不同数据集上的选择

1.迁移学习是指调整预训练的神经网络并应用到新的不同数据集上。

• 根据以下两个方面：新数据集的大小，以及新数据集和原始数据集之间的相似性
  使用迁移学习的方式将不同。包括以下四大情形：
  新数据集很小，新数据和原始训练数据相似
  新数据集很小，新数据和原始训练数据不同
  新数据集很大，新数据和原始训练数据相似
  新数据集很大，新数据和原始训练数据不同

• 大型数据集可能有 100 万张图像。小型数据集可能有 2000 张图像。大型数据集和小型数据集的划分依据具有主观性。对小型数据集使用迁移学习时需要注意过拟合问题。
  小狗图像和狼图像属于相似的图像；它们具有共同的特征。花朵图像数据集和小狗图像数据集则很不同。
  四种迁移学习情形分别具有自己的应用方式。在下面的几个部分，我们将分别讨论每种情形。
  情形1：小数据集，相似数据
  如果新数据集很小，并且与原始训练数据相似：
  删除神经网络的末尾层级
  添加一个新的全连接层，输出数量与新数据集中的类别数量一样
  随机化新全连接层的权重；冻结预训练网络的所有权重
  训练网络以更新新全连接层的权重
  为了避免过拟合小数据集，原始网络的权重将保持不变，而不是重新训练权重。
  由于数据集相似，所以两个数据集的图像将具有相似的更高级特征。所以，大多数或所有预训练神经网络层级已经包含关于新数据集的相关信息，应该保留这些信息。
  情形2：小数据集，不同数据
  如果新数据集很小，并且与原始训练数据