【深度学习】深度学习模型训练的tricks总结

前言

得到更改的准确率模型的设计自然是重要，而使用一些数据处理和训练的技巧也能提高最终模型的训练效果，因此也十分重要。本文基于对一些资料的阅读总结一些模型训练常见的trick，能够更快地拟合以及在一定程度上提升模型效果。

学习率角度

1、Warm up

由于刚开始训练时模型的权重(weights)是随机初始化的，此时选择一个较大的学习率，可能会带来模型的不稳定。学习率预热就是在刚开始训练的时候先使用一个较小的学习率，训练一些epoches或iterations，等模型稳定时再修改为预先设置的学习率进行训练。
上述的方法是constant warmup，18年Facebook又针对上面的warmup进行了改进，因为从一个很小的学习率一下变为比较大的学习率可能会导致训练误差突然增大。提出了gradual warmup来解决这个问题，即从最开始的小学习率开始，每个iteration增大一点，直到最初设置的比较大的学习率。
（PyTorch代码实现可以参考“参考资料”部分的链接）

2、Linear scaling learning rate

实验证明，大的batch size在相同的epoch下准确率会更小，使用warm up可以在一定程度上解决这个问题，而Linear scaling learning rate也是一种有效的方法。
在mini-batch SGD训练时，梯度下降的值是随机的，因为每一个batch的数据是随机选择的。增大batch size不会改变梯度的期望，但是会降低它的方差。也就是说，大batch size会降低梯度中的噪声，所以我们可以增大学习率来加快收敛。
具体做法很简单，比如ResNet原论文中，batch size为256时选择的学习率是0.1，当我们把batch size变为一个较大的数b时，学习率应该变为 0.1 × b/256。即线性的根据batch大小设置学习率，从而达到更好的学习效果。
简单的说，大的batch size计算得到的梯度噪声更小，所以可以使用更大的学习率来加大收敛。那么这里就有一个问题了，为什么小的batch size一般收敛的更快呢？这是因为小的batch size尽管方向不一定准确，但是更新次数多，最终收敛速度会更快。而大的batch size虽然噪声小，方向也更准确，但是由于学习率效果不会很好，这样线性的增加学习率其实也是相当于用单次更新量变大弥补更新次数小的事实。

3、Cosine learning rate decay

在warmup之后的训练过程中，学习率不断衰减是一个提高精度的好方法。其中有step decay和cosine decay等，前者是随着epoch增大学习率不断减去一个小的数，后者是让学习率随着训练过程曲线下降。
两者都是比较常用的学习率衰减算法，能够提高训练效率，减少学习率不合适带来的振荡或学习缓慢的现象。至于选择哪一个还是具体问题具体分析。
对于cosine decay，假设总共有T个batch（不考虑warmup阶段），在第t个batch时，学习率η_t为：

这里，η代表初始设置的学习率。这种学习率递减的方式称之为cosine decay。

数据与标签角度

1、Label-smoothing

在分类问题中，我们的最后一层一般是全连接层，然后对应标签的one-hot编码，即把对应类别的值编码为1，其他为0。这种编码方式和通过降低交叉熵损失来调整参数的方式结合起来，会有一些问题。这种方式会鼓励模型对不同类别的输出分数差异非常大，或者说，模型过分相信它的判断。
但是，对于一个由多人标注的数据集，不同人标注的准则可能不同，每个人的标注也可能会有一些错误。模型对标签的过分相信会导致过拟合。
标签平滑(Label-smoothing regularization,LSR)是应对该问题的有效方法之一，它的具体思想是降低我们对于标签的信任，例如我们可以将损失的目标值从1稍微降到0.9，或者将从0稍微升到0.1。标签平滑最早在inception-v2中被提出，它将真实的概率改造为：

其中，ε是一个小的常数，K是类别的数目，y是图片的真正的标签，i代表第i个类别，q_i是图片为第i类的概率。
总的来说，LSR是一种通过在标签y中加入噪声，实现对模型约束，降低模型过拟合程度的一种正则化方法。模型对标签没有那么相信了，过拟合的更新自然也小了一些。但会不会影响学习的效果呢？所以这个ε也不能太大。

2、Random image cropping and patching

Random image cropping and patching (RICAP)方法随机裁剪四个图片的中部分，然后把它们拼接为一个图片，同时混合这四个图片的标签。

这也是一种比较特殊的数据增强方法，一般的数据增强都是对一个样本进行操作，而该方法将样本和标签同时进行融合，在大量的数据中也会取得不错的效果。

3、Cutout

Cutout[9]是一种新的正则化方法。原理是在训练时随机把图片的一部分减掉，这样能提高模型的鲁棒性。它的来源是计算机视觉任务中经常遇到的物体遮挡问题。通过cutout生成一些类似被遮挡的物体，不仅可以让模型在遇到遮挡问题时表现更好，还能让模型在做决定时更多地考虑环境(context)。
我的理解这也是一种数据增广方法，通过让图像一定程度残缺来提高泛化能力，降低过拟合风险。

4、Random erasing

Random erasing[6]其实和cutout非常类似，也是一种模拟物体遮挡情况的数据增强方法。区别在于，cutout是把图片中随机抽中的矩形区域的像素值置为0，相当于裁剪掉，random erasing是用随机数或者数据集中像素的平均值替换原来的像素值。而且，cutout每次裁剪掉的区域大小是固定的，Random erasing替换掉的区域大小是随机的。

5、Mixup training

这个思想与上面Random image cropping and patching有相似之处。Mixup training，就是每次取出2张图片，然后将它们线性组合，得到新的图片，以此来作为新的训练样本，进行网络的训练，如下公式，其中x代表图像数据，y代表标签，则得到的新的xhat, yhat。

看起来就是对数据进行线性组合从而增广，主要增强了训练样本之间的线性表达，增强网络的泛化能力，不过mixup方法需要较长的时间才能收敛得比较好。

6、AutoAugment

数据增强在图像分类问题上有很重要的作用，但是增强的方法有很多，并非一股脑地用上所有的方法就是最好的。那么，如何选择最佳的数据增强方法呢？ AutoAugment[11]就是一种搜索适合当前问题的数据增强方法的方法。该方法创建一个数据增强策略的搜索空间，利用搜索算法选取适合特定数据集的数据增强策略。此外，从一个数据集中学到的策略能够很好地迁移到其它相似的数据集上。

AutoML的在深度学习很多阶段都偶遇体现，而这个则是在数据增强上使用自动搜索，比手动设置效果会好很多。

优化算法角度

AdaBound

AdaBound是最近一篇论文[5]中提到的，按照作者的说法，AdaBound会让你的训练过程像adam一样快，并且像SGD一样好。

另外，这种方法相对于SGD对超参数的变化不是那么敏感，也就是说鲁棒性更好。但是，针对不同的问题还是需要调节超参数的，只是所用的时间可能变少了。当然，AdaBound还没有经过普遍的检验，也有可能只是对于某些问题效果好。
这个算法针对于Adam等自适应学习率算法缺点进行了改善。自适应学习率训练到后期，学习率出现极端情况，更新参数时有些维度上学习率特别大，有些维度学习率特别小。或者说，当模型接近收敛时，学习率中有大量的极端值，这也是为什么很多人仍然喜欢用SGD。
基于这个问题，可以对自适应学习率加一下限制，具体做法是对学习率进行动态裁剪，在这一设置下，在训练早期由于上下界对学习率的影响很小，算法更加接近于 Adam；而随着时间增长裁减区间越来越收紧，模型的学习率逐渐趋于稳定，在末期更加贴近于 SGD。AMSBound 可以对 AMSGrad 采用类似的裁剪得到。


换句话说，Adam和SGD是AdaBound的特殊情况。

代价函数角度

Knowledge Distillation

提高几乎所有机器学习算法性能的一种非常简单的方法是在相同的数据上训练许多不同的模型，然后对它们的预测进行平均。但是使用所有的模型集成进行预测是比较麻烦的，并且可能计算量太大而无法部署到大量用户。Knowledge Distillation(知识蒸馏)方法就是应对这种问题的有效方法之一。
在知识蒸馏方法中，我们使用一个教师模型来帮助当前的模型（学生模型）训练。教师模型是一个较高准确率的预训练模型，因此学生模型可以在保持模型复杂度不变的情况下提升准确率。比如，可以使用ResNet-152作为教师模型来帮助学生模型ResNet-50训练。在训练过程中，我们会加一个蒸馏损失来惩罚学生模型和教师模型的输出之间的差异。
这个技术出自Hinton之手，通过效果更好的网络来指导轻量级网络训练，最终取得更好的训练效果。这里我目前研究的也不是很细，“老师也可能讲错，只依赖课本和同时依赖老师与课本哪个学习效果会更好呢？”，有待研究。

其他tricks

除了上面很多很高级的tricks，为了提升性能还有很多比较小的trick，有些是特别常用的特别普遍的，这里还是总结一下：

• Dropout
• L1/L2正则
• Batch Normalization
• Early stopping
• Random cropping
• Mirroring
• Rotation
• Color shifting
• PCA color augmentation
• init

总结

深度学习的训练技巧有很多，但一般来说是在数据增强、学习率控制、优化方法与代价函数的设置这几个角度。数据增强除了传统的一元增强方法又有很多多元方法，各种数据组合，甚至可以自主搜索学习方法；学习率控制从训练初期到后期又有不同的技巧；优化方法和代价函数随着学术界的发展也有了很多更高级的方式，能够更快地训练出效果较好的模型。
当然，trick也并非越多越好，不合适的trick会适得其反。在具体问题具体分析基础上最终选择适合的trick才能改善学习效果。

参考资料

原文：https://mp.weixin.qq.com/s/ANbD77zytD58bTwuXTvqjw
[1] Deep Residual Learning for Image Recognition(https://arxiv.org/pdf/1512.03385.pdf)
[2] http://cs231n.github.io/neural-networks-2/
[3] Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour(https://arxiv.org/pdf/1706.02677v2.pdf)
[4] Rethinking the Inception Architecture for Computer Vision(https://arxiv.org/pdf/1512.00567v3.pdf)
[4]Bag of Tricks for Image Classification with Convolutional Neural Networks(https://arxiv.org/pdf/1812.01187.pdf)
[5] Adaptive Gradient Methods with Dynamic Bound of Learning Rate(https://www.luolc.com/publications/adabound/)
[6] Random erasing(https://arxiv.org/pdf/1708.04896v2.pdf)
[7] RICAP(https://arxiv.org/pdf/1811.09030.pdf)
[8] Distilling the Knowledge in a Neural Network(https://arxiv.org/pdf/1503.02531.pdf)
[9] Improved Regularization of Convolutional Neural Networks with Cutout(https://arxiv.org/pdf/1708.04552.pdf)
[10] Mixup: BEYOND EMPIRICAL RISK MINIMIZATION(https://arxiv.org/pdf/1710.09412.pdf)
[11] AutoAugment: Learning Augmentation Policies from Data(https://arxiv.org/pdf/1805.09501.pdf)
[12] Understanding the difficulty of training deep feedforward neural networks(http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf)
https://blog.csdn.net/qq_33547191/article/details/88034806