1 标准化
2 批标准化BN
BN层位于卷积层之后,激活层之前,让特征图上的值转换到以0为均值,1为标准差之间,可以让激活函数起作用,防止神经元死亡。
一开始对数据进行了标准化,但是经过每一层运算之后,数据就不是这种分布了,比如0-1之间等等,就需要重新把它们换回到这种分布中。来解决梯度消失和梯度爆炸。
批量归一化可以降低ICS(Internal Covariant Shift,内部协变量偏移)从而加快模型训练速度;
3 正则化Regularization
就是在损失值的地方多加一个额外的值,防止过拟合.