笔记—深度学习—参数初始化

一、引言

神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。目前，深度学习存在以下几种参数初始化策略：

1. Constant Initialization；
2. Random Initialization；
3. Xavier Initialization；
4. Kaiming Initialization；

本文首先将简单介绍一下Constant Initialization和Random Initialization，然后将详细介绍一下Xavier Initialization和Kaiming Initialization，并给出推导过程；

在深入介绍参数初始化之前，首先回顾随机变量方差的两个性质（推导过程中会用到）：

1. 假设随机变量$X$和随机变量$Y$相互独立，则有
   $$\begin{array}{r}Var(X+Y)=Var(X)+Var(Y)\end{array}$$
2. 假设随机变量$X$和随机变量$Y$相互独立，且有$E(X)=E(Y)=0$，则有
   $$\begin{array}{r}Var(XY)=Var(X)Var(Y)\end{array}$$

一般地，神经网络的隐层状态计算表达式为：
$$\begin{array}{r}{\mathbf{z}}^i={\mathbf{W}}^i{\mathbf{h}}^{i-1},i=0,1,...\end{array}$$

激活值计算表达式为：
$$\begin{array}{r}{\mathbf{h}}^i=f({\mathbf{z}}^i)\end{array}$$

其中，${\mathbf{h}}^0=\mathbf{x}$，$\mathbf{x}$是神经网络的输入，$f(\cdot )$是激活函数，${\mathbf{W}}^i\in {\mathbb{R}}^{n_i\times n_{i-1}}$，${\mathbf{z}}^i\in {\mathbb{R}}^{n_i}$，${\mathbf{h}}^{i-1}\in {\mathbb{R}}^{n_{i-1}}$($n_i$表示隐层$i$的神经元个数)。$\mathbf{z}$称为状态值，$\mathbf{h}$称为激活值。

状态梯度的表达式为：
$$\begin{array}{r}\frac{\partial L}{\partial z_k^i}=f^{\prime }(z_k^i)({\mathbf{W}}_{\cdot ,k}^{i+1}{)}^T\frac{\partial L}{\partial {\mathbf{z}}^{i+1}},k=1,2,...,n_i\end{array}$$
其中，$L$为损失函数。

二、Constant Initialization

Constant Initialization将神经网络中的参数全部初始化为某个常数，这意味着将所有计算单元初始化为完全相同的状态，这会使每个计算单元对同一样例的输出和反向更新的梯度存在某种对称关系或甚至完全相同，导致神经网络的灵活性大打折扣。

三、Random Initialization

Random Initialization将每个计算单元初始化成不同的状态，一般我们希望数据和参数的均值都为0，输入和输出数据的方差一致。在实际应用中，参数服从高斯分布或者均匀分布都是比较有效的初始化方式。然而，很难选择概率模型中的超参数，例如正态分布$Normal(\mu ,{\sigma }^2)$中的$\mu$和$\sigma$，均匀分布$Uniform(a,b)$中的$a$和$b$。

四、Xavier Initialization

Xavier Initialization由Glorot Xavier等人提出。好的初始化应该满足以下两个条件：

1. 正向传播时，激活值的方差保持不变；
2. 反向传播时，关于状态值的梯度的方差保持不变。
   $$\begin{array}{rl}\forall (i,j),Var(h^i)& =Var(h^j)\\ \forall (i,j),Var(\frac{\partial L}{\partial z^i})& =Var(\frac{\partial L}{\partial z^j})\end{array}$$

上述这两个条件称为Glorot条件。

此外，对于前向过程，引入如下的几个假设：

• 权重矩阵$\mathbf{W}$、输入$\mathbf{x}$之间相互独立；
• $\mathbf{W}$ i.i.d 并且$E(W)=0$;
• $\mathbf{x}$ i.i.d 并且$E(x)=0$;

对于反向过程，引入如下的几个假设：

• 权重矩阵$\mathbf{W}$、梯度$\frac{\partial L}{\partial z^i}$之间相互独立；
• $\mathbf{W}$ i.i.d 并且$E(W)=0$;
• $\frac{\partial L}{\partial z^i}$ i.i.d 并且$E(\frac{\partial L}{\partial z^i})=0$;

对于激活函数，引入如下的几个假设：

• 激活函数关于原点对称——每层的输入均值都是0；
• 激活函数在零点的值为1——$f^{\prime }(0)=1$；
• 初始时，状态值落在激活函数的线性区域——$f^{\prime }(z_k^i)\approx 1$；

1. 前向过程

根据隐层状态计算公式和上述的两个方差的性质，有如下推导：
$$\begin{array}{rl}Var(h^i)& =Var(f(z^i))\\ & =Var(z^i)\\ & =Var(\sum _{k=1}^{n_{i-1}}{\mathbf{W}}_{\cdot k}^i{h}_k^{i-1})\\ & =\sum _{k=1}^{n_{i-1}}Var({\mathbf{W}}_{\cdot k}^i{h}_k^{i-1})\\ & =n_{i-1}Var(W^i)Var(h^{i-1})\\ & =n_{i-1}{n}_{i-2}Var(W^i)Var(W^{i-1})Var(h^{i-2})\\ & =...\\ & =Var(x)\prod _{k=1}^i{n}_{k-1}Var(W^k)\end{array}$$
根据Glorot条件中的第一个条件，结合上述推导，有：
$$\begin{array}{r}\forall i,n_{i-1}Var(W^i)=1\end{array}$$

2. 反向过程

根据状态梯度公式和上述的两个方差的性质，有如下推导：
$$\begin{array}{rl}Var(\frac{\partial L}{\partial z^i})& =Var(({\mathbf{W}}_{\cdot ,k}^{i+1}{)}^T\frac{\partial L}{\partial {\mathbf{z}}^{i+1}})\\ & =Var(\sum _{k=1}^{n_{i+1}}{\mathbf{W}}_{\cdot k}^{i+1}\frac{\partial L}{\partial z_k^{i+1}})\\ & =n_{i+1}Var(W^{i+1}\frac{\partial L}{\partial z^{i+1}})\\ & =n_{i+1}Var(W^{i+1})Var(\frac{\partial L}{\partial z^{i+1}})\\ & =n_{i+1}{n}_{i+2}Var(W^{i+1})Var(W^{i+2})Var(\frac{\partial L}{\partial z^{i+2}})\\ & =...\\ & =Var(\frac{\partial L}{\partial z^d})\prod _{k=i+1}^d{n}_{k}Var(W^k)\end{array}$$
根据Glorot条件中的第二个条件，结合上述推导，有：
$$\begin{array}{r}\forall i,n_{i}Var(W^i)=1\end{array}$$
为了同时满足两个条件，Glorot取了调和平均值：
$$\begin{array}{r}\forall i,Var(W^i)=\frac{2}{n_{i-1}+n_i}\end{array}$$
这里，$n_{i-1}$和$n_i$分别看作第$i$层的输入维度和输出维度。进一步得出初始化方式：

• 若$W$服从正态分布，那么$W\sim Normal(0,\frac{2}{n_{i-1}+n_i})$；
• 若$W$服从均匀分布，那么$W\sim Uniform(-\sqrt{\frac{6}{n_{i-1}+n_i}},\sqrt{\frac{6}{n_{i-1}+n_i}})$；

Kaiming Initialization

Xavier Initialization假设激活函数是线性的，这并不适用于ReLU激活函数，而Kaiming Initialization正是为了解决这个问题而提出的。Kaming Initialization由ResNet的作者Kaiming He提出的，主要应用在激活函数是ReLU的网络中。

1. 前向过程

因为激活函数是ReLU，所以$E(h^{i-1})=0$不再成立。因此，推导的过程和Xavier Initialization会有些不同，但大致是相同的，具体推导过程如下：
$$\begin{array}{rl}Var(z^i)& =n_{i-1}Var(W^i{h}^{i-1})\\ & =n_{i-1}[E((W^i{h}^{i-1}{)}^2)-(E(W^i{h}^{i-1}){)}^2]\\ & =n_{i-1}[E((W^i{)}^2)E((h^{i-1}{)}^2)-(E(W^i){)}^2(E(h^{i-1}){)}^2]\end{array}$$
又因为$E(W^i)=0$，所以有：
$$\begin{array}{rl}Var(z^i)& =n_{i-1}E((W^i{)}^2)E((h^{i-1}{)}^2)\\ & =n_{i-1}[E((W^i{)}^2)-(E(W^i){)}^2]E((h^{i-1}{)}^2)\\ & =n_{i-1}Var(W^i)E((h^{i-1}{)}^2)\end{array}$$
而
$$\begin{array}{rl}E((h^{i-1}{)}^2)& =E(f^2(z^{i-1}))\\ & ={\int }_{-\infty }^{\infty }p(z^{i-1})f^2(z^{i-1})d{z}^{i-1}\\ & =0+{\int }_0^{\infty }p(z^{i-1})(z^{i-1}{)}^{2}d{z}^{i-1}\\ & =\frac{1}{2}{\int }_{-\infty }^{\infty }p(z^{i-1})(z^{i-1}{)}^{2}d{z}^{i-1}\\ & =\frac{1}{2}E((z^{i-1}{)}^2)\\ & =\frac{1}{2}Var(z^{i-1})\end{array}$$
从而
$$\begin{array}{rl}Var(z^i)& =\frac{1}{2}{n}_{i-1}Var(W^i)Var(z^{i-1})\\ & =Var(z^1)\prod _{k=2}^i[\frac{1}{2}{n}_{k-1}Var(W^k)]\end{array}$$
又因为各层激活值的方差在传播过程中要保持一致，因此有：
$$\begin{array}{r}\forall i,\frac{1}{2}{n}_{i-1}Var(W^i)=1\end{array}$$

2. 反向过程

根据状态梯度的公式，有如下推导：
$$\begin{array}{rl}Var(\frac{\partial L}{\partial z^i})& =Var(f^{\prime }(z^i)({\mathbf{W}}_{\cdot ,k}^{i+1}{)}^T\frac{\partial L}{\partial {\mathbf{z}}^{i+1}})\\ & =Var(({\mathbf{W}}_{\cdot ,k}^{i+1}{)}^T\frac{\partial L}{\partial {\mathbf{h}}^{i+1}})\\ & =n_{i+1}Var(W^{i+1})Var(\frac{\partial L}{\partial h^{i+1}})\end{array}$$
又因为
$$\begin{array}{rl}Var(\frac{\partial L}{\partial h^{i+1}})& =Var(\frac{\partial L}{\partial z^{i+1}})Var(f^{\prime }(z^i))\\ & =\frac{1}{2}Var(\frac{\partial L}{\partial z^{i+1}})\end{array}$$
因此
$$\begin{array}{rl}Var(\frac{\partial L}{\partial z^i})& =\frac{1}{2}{n}_{i+1}Var(W^{i+1})Var(\frac{\partial L}{\partial z^{i+1}})\\ & =Var(\frac{\partial L}{\partial z^d})\prod _{k=i+1}^d[\frac{1}{2}{n}_{k}Var(W^k)]\end{array}$$
而状态梯度的方差在传播过程中要保持一致，所以有：
$$\begin{array}{r}\forall i,\frac{1}{2}{n}_{i}Var(W^i)=1\end{array}$$
进一步得出初始化方式：

• 若$W$服从正态分布，那么$W\sim Normal(0,\frac{2}{n_i})$；
• 若$W$服从均匀分布，那么$W\sim Uniform(-\sqrt{\frac{6}{n_i}},\sqrt{\frac{6}{n_i}})$；

参考文献

• 深度学习之参数初始化（一）——Xavier初始化
• 深度学习之参数初始化（二）——Kaiming初始化
• Understanding the difficulty of training deep feedforward neural networks
• Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification