批量归一化是一种用于深度学习的技术，旨在稳定神经网络中间输出，提高训练效率。它通过在全连接层和卷积层中对输入进行标准化处理，减少内部协变量转移，有助于梯度消失问题的缓解。在全连接层中，批量归一化位于仿射变换和激活函数之间，而卷积层中则在卷积计算后、激活函数前。预测时，批量归一化使用移动平均来估算全局均值和方差。
批量归一化（Batch Normalization）
对输入的标准化（浅层模型）
处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近。
批量归一化（深度模型）
深度模型因为非线性拟合能力实在太强了，随着模型参数的更新，输入可能只发生比较微弱的变化，就会导致中间的输出的取值不太稳定，波动比较剧烈，进而造成越靠近输出层的数据剧烈变化。利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。
（1）全连接层的批量归一化
位置：全连接层中的仿射变换和激活函数之间。
全连接：
u是batch_size*输入神经元个数（仿射变换）---> batch_size*输出神经元个数
批量归一化：故对 x 进行标准化
最低0.47元/天 解锁文章
扫一扫
1536
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
