BN的作用原理（BN、LN、IN和GN）

目录

归一化

1.归一化含义

2.为什么要归一化?

3.为什么归一化能提高求解最优解速度？

为什么引入BN？

BN的作用原理

BN的优点

 BN的不足

BN、LN、IN和GN之间的区别

参考

---

归一化

1.归一化含义

• 归纳统一样本的统计分布性。归一化在0~1之间是统计的概率分布，归一化-1~1之间是统计的坐标分布。
• 无论是为了建模还是为了计算，首先基本度量单位要统一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测，且sigmoid函数的取值是0-1之间的，网络最后一个节点的输出也是如此，所以经常要对样本的输出归一化处理。
• 归一化是统一在0-1之间的统计概率分布，当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减少，从而导致学习速度很慢。
• 另外在数据中常存在奇异样本数据，奇异样本数据存在所引起的网络训练时间增加，并可能引起网络无法收敛。为了避免出现这种情况及后面数据处理的方便，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。

2.为什么要归一化?

• 为了后面数据处理的方便，归一化的确可以避免- -些不必要的数值问题。
• 为了程序运行时收敛加快。
• 同一量纲。样本数据的评价标准不一样，需要对其量纲化,统一评价标准。 这算是应用层面的需求。
• 避免神经元饱和。啥意思?就是当神经元的激活在接近0或者1时会饱和，在这些区域，梯度几乎为0,这样，在反向传播过程中