本文探讨了神经网络中引入normalization的必要性，详细介绍了batch normalization、layer normalization和weight normalization三种方法，以及它们在不同场景下的适用性。normalization有助于保持权重伸缩不变，提高反向传播效率，实现参数正则化，以及减小梯度问题，提升网络训练速度和泛化性能。
一、为什么要引入normalization？
由于机器学习中输入模型的数据需满足独立同分布的假设条件，而该假设条件对于神经网络而言很难满足（叠加的网络结构使得底层的参数更新对高层的输入分布产生很大的影响），故在神经网络中引入normalization方法，实际上是通过采取不同的变换方式使得各层的输入数据近似满足独立同分布假设条件，并使得各层输出限制在一定范围内。
二、normalization主要有哪些方式？
1）batch normalization
如公式所示，利用神经网络的一个mini-batch计算某神经元 
规范化时对应的均值和方差。（M为mini-batch的大小）
适用场景：由于BN与mini-batch的数据分布紧密相关，故而mini-batch的数据分布需要与总体的数据分布近似相等。因此BN适用于mini-batch
最低0.47元/天 解锁文章
5219
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
