Bag of Tricks for Image Classification with Convolutional Neural Networks CVPR 2019 paper阅读

论文地址：Bag of Tricks for Image Classification with Convolutional Neural Networks CVPR 2019 paper

1 介绍

• 本篇论文所提到的方法及模型均在Python第三方库gulon。

5 Training Refinements

• 四个技巧

5.1 余弦学习率递减

• 在learning rate warmup之后

• ${\eta }_t=\frac{1}{2}(1+cos(\frac{t\pi }{T}))\eta$

• 疑问：依下图，不应该选step decay更好吗？

5.2 Label Smoothing

5.3 知识蒸馏

• teacher model(often pre-trained model), student model

5.4 Mixup Training

• 是一种数据增强方法

• $\hat{x}=\lambda x_i+(1-\lambda )x_i$

• $\hat{y}=\lambda y_i+(1-\lambda )y_i$

• 随机选取两个样本带入上面公式以生成新样本，其中$\lambda \in [0,1]$服从$Beta(\alpha ,\alpha )$分布

5.5 实验结果

• 在知识蒸馏中，选取teacher model最好选取与student model同质（from the same family of the student）

6 迁移学习

7 总结

模型结构、数据处理、损失函数、学习率，stacking它们可以获得一个更好的结果。预训练模型锦上添花。还有一些对硬件的调整。

率，stacking它们可以获得一个更好的结果。预训练模型锦上添花。还有一些对硬件的调整。

待续未完。。。。。。