Batch Normalization深入理解

最新推荐文章于 2024-09-08 20:20:36 发布

allein_STR

最新推荐文章于 2024-09-08 20:20:36 发布

阅读量1.4k

点赞数

分类专栏：机器学习/深度学习

本文链接：https://blog.csdn.net/allein_STR/article/details/109533277

版权

机器学习/深度学习专栏收录该内容

76 篇文章 16 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

Batch Normalization（BN）旨在解决深度神经网络中内部协变量转移问题，加速模型收敛，提高训练鲁棒性。通过计算 mini-batch 的均值和方差进行数据归一化，BN 在隐藏层前应用，有助于稳定梯度并降低超参数敏感性。BN 适用于大 batch 大小，但在小 batch 或特定网络结构（如 RNN）中表现不佳，有 LayerNorm、InstanceNorm 等替代方案。

摘要由CSDN通过智能技术生成

Batch Normalization深入理解

1. BN的提出背景是什么？

统计学习中的一个很重要的假设就是输入的分布是相对稳定的。如果这个假设不满足，则模型的收敛会很慢，甚至无法收敛。所以，对于一般的统计学习问题，在训练前将数据进行归一化或者白化（whitening）是一个很常用的trick。

但这个问题在深度神经网络中变得更加难以解决。在神经网络中，网络是分层的，可以把每一层视为一个单独的分类器，将一个网络看成分类器的串联。这就意味着，在训练过程中，随着某一层分类器的参数的改变，其输出的分布也会改变，这就导致下一层的输入的分布不稳定。分类器需要不断适应新的分布，这就使得模型难以收敛。

对数据的预处理可以解决第一层的输入分布问题，而对于隐藏层的问题无能为力，这个问题就是Internal Covariate Shift。而Batch Normalization其实主要就是在解决这个问题。

除此之外，一般的神经网络的梯度大小往往会与参数的大小相关（仿射变换），且随着训练的过程，会产生较大的波动,这就导致学习率不宜设置的太大。Batch Normaliza