图像分类任务的trick总结

针对图像分类，提升准确率的方法有两个：1.修改模型；2.各种数据处理和训练的技巧
图像分类中的技巧对于目标检测，图像分割也有很好的作用

Warmup

warm up是resnet论文中提到的一种学习率预热的方法。由于刚开始训练模型的权重是随机初始化的，这里权重不能全部置为零，置为零的话，网络中的每个神经元都计算相同的输出，那么它们在反向传播时也会计算相同的梯度，并经历完全相同的参数更新。如果随机初始化的模型参数使用一个较大的学习率的话，会带来模型的不稳定。学习率预热就是在刚开始训练的时候选用一个较小的学习率，等模型稳定之后再修改为预先设置的学习率进行训练。但是如果突然从小学习率变成大学习率会导致训练误差突然变大，所以又提出了gradual warmup来解决这个问题：每个iteration增大一点，直到最初设置的比较大的学习率。

Linear scaling learning rate

这是针对较大batch size提出的方法。
在凸优化问题中，随着批量的增加，收敛速度会降低，神经网络也有类似的实证结果。随着batch size的增大，处理相同数据量的速度会越来越快，但是达到相同精度所需要的epoch数量会越来越多：一个epoch表示迭代完全部数据集，batch size越大，迭代完一个epoch所需的iteration就越小，梯度更新的速度也越小。所以相同epoch，大batch size的模型比小batch size模型的验证准确率小。
gradual warmup可以解决此问题，另外linear scaling learning rate也是有效的方法。在mi