总结2: Batch Normalization反向传播公式推导及其向量化

1. 背景介绍

上周学习了吴恩达的Deep Learning专项课程的第二门课，其中讲到了Batch Normalization（BN）。但在课程视频中，吴恩达并没有详细地给出Batch Normalization反向传播的公式推导，而是从high level的角度解释了为什么Batch Normalization会work，以及如何在TensorFlow等framework中使用Batch Norm。

我自己首先尝试了一下推导BN反向传播的公式，但是用代码实现后跑的结果都不甚理想，收敛速度比不使用BN还要慢甚至有时候无法收敛，应该是公式推错了。接着我在网上搜索到Google最开始提出BN的论文， 里面给出了反向传播的公式，但是不是以向量化的形式给出的。众所周知，我们实现深度网络应该依赖于向量计算。我看着公式以自己的理解写出了向量的形式，但是实现后结果仍旧不正常。

接着在网上搜索其他人介绍BN的博客文章，绝大多数文章都是前面讲一大堆BN的好处，消除Internal Convariate Shift，加快收敛，减少Dropout的使用，起到部分正则化等等，然后涉及到核心的公式部分时，话锋一转，说BN反向传播部分的推导很简单，就是利用了Chain Rule，接着就给出了与论文中一模一样的公式。看着让人很是头疼。

就这样停滞了大概三四天的时间，但是我实在不甘心仅仅会使用TensorFlow中提供的BN模块，而搞不懂BN的详细推导。终于，我下定决心抽出一整天的时间拿出纸笔一步步的演算，最终心静下来花了大概一个小时算出来，然后代码实现之后跑起来结果就正常了。

2. BN反向传播的详细推导

2.1 单个activation进行batch norm的情况

假设神经网络的第L层是BatchNorm层，其输入数据为$Z^L$，其中$Z^L$的维度是(n, $d^L$)，n是样本个数，$d^L$代表第L层神经元的个数。

对$Z^L$进行normalize得到：

$$\begin{equation} Z^{norm, L} = \frac{Z^L - 1 * mean(Z^L)^T}{1 * \sqrt{var(Z^L)^T}} \end{equation}$$

其中，$1$代表元素全为1的列向量，如不特殊说明，其长度为n；$*$代表矩阵乘法；$mean(Z^L)$是长度为$d^L$的列向量；$\sqrt(var(Z^L)$也是长度为$d^L$的列向量。

然后对$Z^{norm, L}$加上可被学习的scale参数$\gamma^L$和shift参数$\beta^L$：

$$\begin{equation} Y^L = Z^{norm, L} \times (1 * \gamma^T) + 1 * \beta^T \end{equation}$$
其中， $\times$代表矩阵对应元素相乘； $\gamma^T$代表 $\gamma$的转置。 $\gamma$和 $\beta$都是长度为 $d^L$的向量。

以上是Batch Norm层正向传播的严谨的公式，很多文章里都习惯于使用具有broadcasting功能的公式，如用一个矩阵减去一个向量等操作，虽然python里的numpy支持这种运算，但是公式如果也用这种方式写则很不严谨，也对我们的求导造成很大的困扰。

接下来是反向传播部分的推导。因为$Z^{norm, L}$是对$Z^L$按列normalize得到的，每两列之间是完全独立的，求导的时候也不会互相干扰，所以为了推导的清晰简便起见，我们取$Z^L$的第j列进行推导，以下将$Z^L_j$记为小写的$x$。

现在我们有如下数据：

$$\begin{equation} x = [x_1, x_2, ..., x_n]^T \end{equation}$$

$$\begin{equation} mean(x) = \frac{\sum_{i=1}^n{x_i}}{n} \end{equation}$$
$$\begin{equation} var(x) = \frac{\sum_{p=1}^n{(x_p - mean(x))^2}}{n} \end{equation}$$
$$\begin{equation} stddev(x) = \sqrt {var(x)} \end{equation}$$

xnor