神经网络训练技巧

1、数据增强

2、数据预处理

3、学习率衰减

4、在预训练模型上微调

5、用relu激活函数代替sigmoid

6、正则化（L1正则、L2正则、dropout）

7、注意类别不均衡数据（用带权重的损失函数、batch-size balanced sampling）

8、resize图片：center-crop（原图短边等于网络输入size，长边等比例缩放）

9、多任务学习multi-task

10、特征融合：concat操作

11、triplet loss技巧（在训练完其它分支，再加上它可以提高精度、否则不收敛；hard negative sampling）

https://www.jianshu.com/p/0b116c43eb16