在深度学习中有用的一些训练策略（持续补充）

1.模型改进方面

1) resnest

2) self-attention

3) 双线性池化

4) 模型集成

5) sknet

6) deformatableconv

7) dropblock

8) 特征金字塔

9) 激活函数，mish swish

2.训练策略

1) mixup

2) labelsmooth

3) auto augmentation

4) warm up

5) cosin learning rate

6) 大尺度图像

7) 模型级联

8) 困难样本挖掘

9) 深度监督