【杂记】图像分类训练技巧包（看看李沐老师的文章，auto_ml？）

图像分类训练技巧包（一）

本篇文章主要介绍了论文的概要，大批量训练的一些tricks以及快速训练所使用的低精度训练方法。第二三篇将介绍模型微调，训练调整等技巧。

图像分类训练技巧包（二）

模型调整是对网络体系结构的微小调整，例如改变特定卷积层的步幅。这种调整通常几乎不会改变计算复杂性，但可能对模型精度产生不可忽略的影响。

图像分类训练技巧包（三）

Training Refinements 训练改进

1.Cosine Learning Rate Decay

我们都知道，在训练时，设置学习率太低，会使得训练过程太慢，但是设置学习率太高，我们又不容易得到最优解。如下图：

2. Label Smoothing

3. Knowledge Distillation

知识蒸馏的总体思想，就是用一个训练好的大容量模型去指导一个小容量模型训练，从而得到更好的表现。目的是为了压缩一个大的网络结构到一个更为紧凑的网络并把知识保留下来。

4. Mixup Training

MIT和Facebook联合提出了一种混合数据增强的策略。mixup指从训练集中随机选取两个样本(xi,yi) 和(xj,yj) ，然后构造新的样本(xˆ,yˆ)。

总结：没卵用