Jughead

（1）过拟合 内容解析： 解决方法 （2）梯度消失/爆炸 内容解析： 解决方法： （3）内部协方差偏移 内容解析： 解决方法 （4）模型退化 内容解析： 解决方法

BN解决了梯度消失的问题，使得深度神经网络可以收敛，但并不能保证收敛后的网络就一定比浅层网络有更好的性能（即会出现网络退化问题，所以后来出现了残差网络，来解决这个网络退化的问题）。 传统的神经网络，只是在样本输入时对样本进行标准化处理，以降低样本特征之间的差异性。 与此同时，BN主要解决的是所谓的内部协方差偏移问题（Internal Covariate Shift）。内部当然就是指深度神经网络的内部，也就是除去输入层之外的隐藏层加上输出层，因为对于输入层而言，我们可以通过各种标准化归一化的手段使其输入数据属