有batch normalization的卷积层的前向和后向传播

Batch Normalization的来源

简化版的Convolutional Layer

$X^{(l+1)}=f(Y^l)=f(3d\_conv(X^l,F)+b)$
$f$ 是激活函数，一般是$Leaky$或者$ReLU$，早年比较火的$sigmoid(x)=1/(1-e^{-x})$函数因为计算量大（要计算$e^{-x}$），效果不好（容易出现梯度消失）已经基本不用。

但对于 $y=sigmoid(x)$ ，$y$ 的均值为0，如果不考虑计算量，将来可以研究研究。
为了保持书写习惯，下文用 $W$ 表示卷积核。

下面分析中假设卷积核数量为1，$X^l$的深度为1,3d卷积 $3d\_conv$ 换成 2d卷积 $conv2$。

梯度消失的问题

在神经网络很深的情况下，数据向前传播的时候经常容易进入饱和区（不过感觉用 $Leaky$ 或者 $ReLU$ 作为激活函数这个问题不大），对数据进行规范化，使其满足（至少看起来满足）高斯分布，可以避免进入饱和区而出现梯度消失的问题。

相关文章：
详解深度学习中的Normalization，BN/LN/WN
什么是批标准化 (Batch Normalization)
Batch Normalization阅读笔记

Normalization的变体

最基本的数据规范化

对输入进行规范化。若 $X$ 是 $N\times N$ 的矩阵。
$$\mu =\frac{1}{N^2}\sum _{i=0}^{N-1}\sum _{j=0}^{N-1}{x}_{i,j}$$

$${\sigma }^2=\frac{1}{N^2}\sum _{i=0}^{N-1}\sum _{j=0}^{N-1}(x_{i,j}-\mu {)}^2$$

$$\sigma =\sqrt{{\sigma }^2}=\frac{1}{N}\sqrt{\sum _{i=0}^{N-1}\sum _{j=0}^{N-1}(x_{i,j}-\mu {)}^2}$$

$$\hat{X}=\{\begin{array}{l}\frac{X-\mu }{\sigma }\sigma ̸=0\\ X\sigma =0\end{array}$$

批规范化

一小批（Batch）的数据平均化的规范化。吸取了mini batch-SGD的思路，为的应该是增加数据的样本空间，记Batch数为$m$，Batch Normalization的均值为${\mu }^{\prime }$
$$\overline{\mu }=\frac{1}{m}\sum _{i\in m}{\mu }_i,\overline{\sigma }=\frac{1}{m}\sum _{i\in m}{\sigma }_i$$
$$\hat{X}=\{\begin{array}{l}\frac{X-\overline{\mu }}{\overline{\sigma }}\overline{\sigma }̸=0\\ X\overline{\sigma }=0\end{array}$$

问题来了，如果$\overline{\sigma }=0$，那说明全部的数据都是$\overline{\mu }=0$，这样的数据我们训练它有啥意义？这个且排除掉，得到

$$\hat{X}=\frac{X-\overline{\mu }}{\overline{\sigma }}$$

有论文说 $m$ 应该取32。64，128，256等数也应该试试看。也有论文说 $m$ 过大的话效果可能会较差。

在Yolo中，默认的输入尺寸是416×416（浮点数），一级中最多有256个3×3的卷积核，一个卷积结果需要的内存存储量为416×416×256÷1024÷1024=42.25MB，如果$m=32$，$\hat{X}$的内存需求为1352MB≈1.32GB。

但深度网络中，不见得上面计算的 $\hat{X}$ 未必是我们想要的，所以要有机会对其进行修正。
$$Y=\gamma \hat{X}+\beta$$
初始值 ${\gamma }_0=1,{\beta }_0=0$

加了Batch Normalization的卷积层

Batch Normalization放在哪里

放在卷积之后，激活之前，即从原来的
$$Y^l=conv2(X^l,W)+b$$
变成
$$Y^l=Y=\gamma {\hat{Z}}^l+\beta ={\gamma }^l\left(\frac{conv2(X^l,W)-{\overline{\mu }}^l}{{\overline{\sigma }}^l}\right)+{\beta }^l$$

这里 $b$ 被忽略，合并到 $\beta$ 里面了。且暂不考虑$\overline{\sigma }=0$ 的情况。

增加一个变量$Z^l$，$Z^l=conv2(X^l,W)$。

前向传播算法

为简单考虑，$X^l$的通道数为1，唯一卷积核为 $W^l$ 。卷积层的输出
$$X^{l+1}=f(Y^l)=f\left({\gamma }^l\left(\frac{conv2(X^l,W^l)-{\overline{\mu }}^l}{{\overline{\sigma }}^l}\right)+{\beta }^l\right)$$

反向传播算法

已知$d{X}^{l+1}$，也就是 $X^{l+1}$的导数，求以下值：

$d{X}^l$ ，为了往后面一层继续传播，使 $x_{i,j}\leftarrow x_{i,j}-\eta \cdot d{x}_{i,j}$
$d{W}^l$ ，为了更新本层的卷积参数，使 $w_{i,j}\leftarrow w_{i,j}-\eta \cdot d{w}_{i,j}$
$d{\gamma }^l$ ，$d{\beta }^l$ 为了更新本层的规范化参数

$d{X}^{l+1}$ 准确讲应该是 $\frac{\Delta E}{\Delta X^{l+1}}$ ， 而$d{X}^l=\frac{\Delta E}{\Delta X^l}=\frac{\Delta E}{\Delta X^{l+1}}\cdot \frac{\Delta X^{l+1}}{\Delta X^l}$

因此，$d{Y}^l=d{X}^{l+1}\cdot f^{\prime }(Y)$。

我们从 $d{Y}^l$ 开始。

$d{\gamma }^l$ 和$d{\beta }^l$ 的推导

$d{\gamma }^l=d{Y}^l\cdot \frac{\Delta Y^l}{\Delta {\gamma }^l}=d{Y}^l\cdot {\hat{X}}^l$

在实际系统中，$\hat{X}$ , $d{Y}^l$ 为 $N\times N$ 矩阵，$\gamma$ 和 $\beta$ 为浮点数（不是数组也不是矩阵）

后续的更新计算中，也希望有使 $\gamma \leftarrow \gamma -\eta \cdot d\gamma$ 的形式。，因此需要有 $d{\gamma }^l$ 从$N\times N$ 矩阵到浮点数的转换方式。Understanding the backward pass through Batch Normalization Layer中用的算法是$d{\gamma }^l={\sum }_i{\sum }_j{\hat{x}}_{i,j}^l\cdot d{y}_{i,j}^l$ ，（和推导过程不同）

类似地，$d{\beta }^l={\sum }_i{\sum }_{j}d{y}_{i,j}^l$。

$d{X}^l$ 的推导

显然，$\partial Y^l/\partial \hat{Z}={\gamma }^l$。

又有
$$d{X}^l=d{Y}^l\cdot \frac{\partial Y^l}{\partial {\hat{Z}}^l}\cdot \frac{\partial {\hat{Z}}^l}{\partial X^l}=d{Y}^l\cdot {\gamma }^l\cdot \frac{\partial {\hat{Z}}^l}{\partial X^l}$$

变成了计算$\partial {\hat{Z}}^l/\partial X^l$ 的问题了，先计算$\partial {\hat{Z}}^l/\partial Z^l$ 。

$$\hat{Z}=\frac{Z-\overline{\mu }}{\overline{\sigma }}$$

对于Batch Normalizaiton ，

$$\overline{\mu }=\frac{1}{m}\sum _{i\in m}\frac{1}{N^2}\sum _{j\in N}\sum _{k\in N}{z}_{j,k}^{(i)}$$

$$\overline{\sigma }=\frac{1}{m}\sum _{i\in m}\frac{1}{N}\sum _{j\in N}\sum _{k\in N}\sqrt{{\left(z_{j,k}^{(i)}-\overline{\mu }\right)}^2}$$
即
$$\overline{\sigma }=\frac{1}{m}\sum _{i\in m}\frac{1}{N}\sum _{j\in N}\sum _{k\in N}\left|z_{j,k}^{(i)}-\overline{\mu }\right|$$

$Z$ 的变化会引起$\overline{\mu }$ 和$\overline{\sigma }$ 变化，我们需要计算$\overline{\mu }$ 和 $\overline{\sigma }$ 的导数值。但目前的这个$\overline{\sigma }$ 是有绝对值号的，不可导。给它做一点小小的处理：

$$\overline{\sigma }=\frac{1}{m}\sum _{i\in m}\frac{1}{N}\sum _{j\in N}\sum _{k\in N}\sqrt{{\left(z_{j,k}^{(i)}-\overline{\mu }\right)}^2+ϵ}$$

$ϵ$ 是一个很小的常数，通常取值1.0e-8可以，这样$\overline{\sigma }$ 的值基本不会改变，但可导了。

$$\frac{\partial \hat{Z}}{\partial \overline{\sigma }}=\frac{1}{{\overline{\sigma }}^2},{\frac{\partial \hat{Z}}{\partial \overline{\mu }}}^{\ast }=-\frac{1}{\overline{\sigma }}$$

接着求$\partial \overline{\sigma }/\partial Z$ 和 $\partial \overline{\mu }/\partial Z$

考虑到Batch Normalizaiton中一个batch中的训练样本相互独立，因此
$$\frac{\partial \overline{\mu }}{\partial z_{i,j}}=\frac{1}{m\cdot N^2}$$
记
$$t_{i,j}=z_{i,j}-\mu$$ ,$$\overline{\sigma }(t_{i,j})=\frac{\sqrt{t_{i,j}^2+ϵ}}{m\cdot N}$$ , $${\overline{\sigma }}^{\prime }(t_{i,j})=\frac{t_{i,j}}{m\cdot N\cdot \sqrt{t_{i,j}^2+ϵ}}\approx \frac{z_{i,j}-\mu }{m\cdot N\cdot \overline{\sigma }}$$
因此，
$$\frac{\partial \overline{\sigma }}{\partial Z}=\frac{1}{m\cdot N\cdot \overline{\sigma }}\cdot R_{N\times N}$$
$$\frac{\partial \overline{\sigma }}{\partial \overline{\mu }}=\frac{-1}{m\cdot N\cdot \overline{\sigma }}\cdot R_{N\times N}$$
$$\begin{gathered} \frac{\partial \hat{Z}}{\partial Z}={\frac{\partial \hat{Z}}{\partial Z}}^{\ast }+\frac{\partial \hat{Z}}{\partial \overline{\sigma }}\cdot \frac{\partial \overline{\sigma }}{\partial Z}+\frac{\partial \hat{Z}}{\partial \overline{\sigma }}\cdot \frac{\partial \overline{\sigma }}{\partial \overline{\mu }}\cdot \frac{\partial \overline{\mu }}{\partial Z}+{\frac{\partial \hat{Z}}{\partial \overline{\mu }}}^{\ast }\cdot \frac{\partial \overline{\mu }}{\partial Z} \\ =\frac{1}{\overline{\sigma }}+\frac{1}{{\overline{\sigma }}^2}\cdot \frac{1}{m\cdot N\cdot \overline{\sigma }}+\frac{1}{{\overline{\sigma }}^2}\cdot \left(\frac{-1}{m\cdot N\cdot \overline{\sigma }}\right)\cdot \frac{1}{m\cdot N^2}+\left(-\frac{1}{\overline{\sigma }}\right)\cdot \frac{1}{m\cdot N^2} \\ =\frac{1}{\overline{\sigma }}\cdot R_{N\times N}+\frac{1}{m\cdot N\cdot \overline{\sigma }}\cdot \left(\frac{1}{{\overline{\sigma }}^2}-\frac{1}{m\cdot N^2{\overline{\sigma }}^2}-\frac{1}{N}\right)\cdot R_{N\times N} \end{gathered}$$

$R_{N\times N}$ 是元素全为1的$N\times N$矩阵。

在Yolo中，$N$ 通常为416以上的值，$\overline{\sigma }$接近0.1的倍数，当 $m$ 取32时，式子的第二项和第一项相比几乎可以忽略不计。因此，我认为$\partial \hat{Z}/\partial Z=1/\overline{\sigma }\cdot R_{N\times N}$即可。减少很多计算量。

中间的推导可能有错误，不过不影响最终的结论。

卷积部分的计算

见我之前写的文章 卷积神经网络CNN的前向和后向传播（二）

其他

Batch Normalization部分，借一张图，来自Understanding the backward pass through Batch Normalization Layer