Batch Normalization详解

最新推荐文章于 2024-04-02 10:21:23 发布

枕戈待旦FSM

最新推荐文章于 2024-04-02 10:21:23 发布

阅读量1.5k

点赞数

分类专栏： PyTorch与深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/Chinafsm/article/details/124323854

版权

PyTorch与深度学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

学深度学习怎么可能学不到BN呢？今天就记录一下，学BN学到的一些知识。个人笔记，欢迎指点。

原论文：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》

Batch Normalization的目的是使我们的feature map满足均值为0，方差为1的分布规律。这里所说满足某一分布规律并不是指某一个feature map的数据要满足分布规律，理论上是指整个训练样本集所对应feature map的数据要满足分布规律。

对于一个拥有d维的输入x，我们将对它的每一个维度进行标准化处理

下图为论文中给出的公式：

我们刚刚有说让feature map满足某一分布规律，理论上是指整个训练样本集所对应feature map的数据要满足分布规律，也就是说要计算出整个训练集的feature map然后在进行标准化处理，对于一个大型的数据集明显是不可能的，所以论文中说的是Batch Normalization，也就是我们计算一个Batch数据的feature map然后在进行标准化（batch越大越接近整个数据集的分布，效果越好）。我们根据上图的公式可以知道代表着我们计算的feature map每个维度（channel）的均值，注意是一个向量不是一个值，向量的每一个元素代表着一个维度（channel）的均值。代表着我们计算的feature map每个维度（channel）的方差，注意是一个向量不是一个值，向量的每一个元素代表着一个维度（channel）的方差，然后根据和计算标准化处理后得到的值。

在原论文公式中还有 $\gamma$ ， $\beta$ 两个参数吗？是的， $\gamma$ 是用来调整数值分布的方差大小， $\beta$ 是用来调节数值均值的位置。这两个参数是在反向传播过程中学习得到的， $\gamma$ 的默认值是1， $\beta$ 的默认值是0。