批量归一化（BN: Batch Normalization)

最新推荐文章于 2024-03-28 17:55:17 发布

VIP文章猫不吃老鼠

最新推荐文章于 2024-03-28 17:55:17 发布

阅读量2.2k

点赞数 1

分类专栏：数据处理文章标签：批量归一化

本文链接：https://blog.csdn.net/qq_42219077/article/details/88379566

版权

BN的地位：
与激活函数层、卷积层、全连接层、池化层一样，BN(Batch Normalization)也属于网络的一层。
BN的本质原理：
在网络的每一层输入的时候，又插入了一个归一化层，也就是先做一个归一化处理（归一化至：均值0、方差为1），然后经过激活函数之后，才再进入网络的下一层。不过文献归一化层，可不像我们想象的那么简单，它是一个可学习、有参数（γ、β）的网络层。
归一化公式：

如果是仅仅使用上面的归一化公式，对网络某一层A的输出数据做归一化，然后送入网络下一层B，这样是会影响到本层网络A所学习到的特征的。比如我网络中间某一层学习到特征数据本身就分布在S型激活函数的两侧，你强制把它给我归一化处理、标准差也限制在了1，把数据变换成分布于s函数的中间部分，这样就相当于我这一层网络所学习到的特征分布被你搞坏了，这可怎么办？于是文献使出了一招惊天地泣鬼神的招式：变换重构，引入了可学习参数γ、β，这就是算法关键之处：

上面的公式表明，通过学习到的重构参数γ、β，是可以恢复出原始的某一层所学到的特征的。
最后Batch Normalization网络层的前向传导过程公式就是：

关注