（深度学习）神经网络训练的一些技巧

1. 合适的数学集

1.没有明显差异特别特别大的数据(可以避免Loss输出为NaN)
2.样本数据分布均匀

2. 合适的数据预处理方法

在BN没有出现之前，主要做法事减去均值，然后除去方差，但在BN出现后，减均值除方差的做法已经没有必要了，对应的预处理方法主要是数据筛查，数据增强等等。

3. 网络的初始化

网络初始化最粗暴的方法是全部设为0，这是非常非常不建议这样做的。因为如果所有的参数都是0，那么会导致所有的神经元的输出都为0，这将导致model的崩塌，一般普遍的方法是将weight初始化均值为0，方差为1符合正态分布的随机数据。

4. 小规模数据试练

1.可以验证自己的训练流程是否正确
2.可以观察model收敛速度，以此可以帮助调整学习速率
3.查看GPU显存占用情况，将batch_size尽可能放大，因为batch_size足够大，神经网络看的就是更大数据集，有助于model学习

5.设置合理的学习率

1.太大，导致model无法收敛到最小点
2.太小，收敛速度过慢，训练时大大延长
3.可变的学习率，例如迭代一定次数后可以让学习率减半，然后再继续训练

6.损失函数

损失函数主要分为两大类：分类损失和回归损失
分类损失：
（1）交叉熵loss,例如逻辑回归中使用
（2）hingeloss，例如在SVM中使用
回归损失：
（1）均方误差——目标值与预测值差值的平方
（2）平均绝对误差——先平方再开方