用深度学习做图像分类任务模型训练经验

前言

用深度学习做图像分类任务摸索中踩了很多坑，也总结出了一些经验。现在将一些自己觉得非常实用的模型训练经验写下来作为记录，也方便后来者借鉴验证。

调参经验

• 模型选择
  通常我会使用一个简单的CNN模型（这个模型一般包含5个卷积层）将数据扔进去训练跑出一个baseline，这一步工作主要是为了验证数据集的质量。如果这个模型训练结果很差就不要先调试模型，需要检查一下你的训练集数据，看看图像的质量，图像标签是否正确，模型的代码是否正确等等，否则就是在做无用功，毕竟：garbage in,garbage out。
• 超参数的选择
  调参是项技术活，调得好CVPR，调不好下海搬砖。
  通常要选的超参数有卷积核大小和数目，批训练（batch size）大小，优化函数（optimizer），学习率等等，一般来说卷积核用33或者55，batch szie 用16或者32不会过拟合，optimizer用Adam（学习率建议用论文中默认的，我试过调整Adam的学习率，效果或都没有默认的好），激活函数用relu这个应该是大家的共识吧。还有就是先跑几百个epoch看loss的变化趋势。
• 数据预处理
  训练数据对模型的影响是决定性的，提高训练数据的质量，就是在提高模型的准确率。
  图像预处理的时候一般我会抽出部分图像观察，对图像中的噪声进行滤波，图像标签要验证一下，其他的预处理就结合实际情况来看了。一般来说，数据清洗的工作占比是多于写模型的工作&#x