针对图像分类,提升准确率的方法有两个:1.修改模型;2.各种数据处理和训练的技巧
图像分类中的技巧对于目标检测,图像分割也有很好的作用
Warmup
warm up是resnet论文中提到的一种学习率预热的方法。由于刚开始训练模型的权重是随机初始化的,这里权重不能全部置为零,置为零的话,网络中的每个神经元都计算相同的输出,那么它们在反向传播时也会计算相同的梯度,并经历完全相同的参数更新。如果随机初始化的模型参数使用一个较大的学习率的话,会带来模型的不稳定。学习率预热就是在刚开始训练的时候选用一个较小的学习率,等模型稳定之后再修改为预先设置的学习率进行训练。但是如果突然从小学习率变成大学习率会导致训练误差突然变大,所以又提出了gradual warmup来解决这个问题:每个iteration增大一点,直到最初设置的比较大的学习率。
Linear scaling learning rate
这是针对较大batch size提出的方法。
在凸优化问题中,随着批量的增加,收敛速度会降低,神经网络也有类似的实证结果。随着batch size的增大,处理相同数据量的速度会越来越快,但是达到相同精度所需要的epoch数量会越来越多:一个epoch表示迭代完全部数据集,batch size越大,迭代完一个epoch所需的iteration就越小,梯度更新的速度也越小。所以相同epoch,大batch size的模型比小batch size模型的验证准确率小。
gradual warmup可以解决此问题,另外linear scaling learning rate也是有效的方法。在mi