训练分类模型一般能够用到的小技巧

分类模型训练trick;

1:  网络模型的选择（resnet、densenet、EfficientNet等）

2：数据增强的方式（mix_up、翻转、亮度对比度、随机裁剪、随意移除等）

3：损失函数（样本类别数量不均衡加权、难易程度focs loss）

4： 标签平滑 label smooth 

5： 学习率 （warm-up、余弦退火）

6： dropout与正则化 （优化器中的weight_decay）

7： 梯度累加（变相增加bathchsize）

8： 网络冻结（迁移学习冻结部分网络权重）

9： Test Time Augmentation TTA 测试增强

10： vote 投票

后两条在测试时候使用，尽管用了以上方法，但是在训练时还是会出现测试集比训练集低几个点的情况（数据集不同大小有差距），如有大佬知道如何解决请不吝赐教