神经网络中的权重初始化常用方法

1.权重初始化的重要性

• 神经网络的训练过程中的参数学习时基于梯度下降算法进行优化的。梯度下降法需要在开始训练时给每个参数赋予一个初始值。这个初始值的选取十分重要。在神经网络的训练中如果将权重全部初始化为0，则第一遍前向传播过程中，所有隐藏层神经元的激活函数值都相同，导致深层神经元可有可无，这一现象称为对称权重现象。
• 为了打破这个平衡，比较好的方法是对每层的权重都进行随机初始化，这样使得不同层的神经元之间有很好的区分性。但是，随机初始化参数的一个问题是如何选择随机初始化的区间。如果权重初始化太小，会导致神经元的输入过小，随着层数的不断增加，会出现信号消失的问题；也会导致sigmoid激活函数丢失非线性的能力，因为在0附件sigmoid函数近似是线性的。如果参数初始化太大，会导致输入状态太大。对sigmoid激活函数来说，激活函数的值会变得饱和，从而出现梯度消失的问题。

2.常用的参数初始化方法

• 高斯分布初始化：参数从一个固定均值(比如0)和固定方差(比如0.01)的高斯分布进行随机初始化。
• 均匀分布初始化：在一个给定的区间[-r,r]内采用均匀分布来初始化参数。超参数r的设置可以按照神经元的连接数量进行自适应的调整。
• 初始化一个深层神经网络时，一个比较好的初始化策略是保持每个神经元输入和输出的方差一致。

3.Xavier初始化

• 当网络使用logistic激活函数时，xavier初始化可以根据每层的神经元数量来自动计算初始化参数的方差。假设第l层神经元的激活函数是logistic函数，对第l-1层到第l层的权重区间r可以设置为
  $$r=\sqrt{\frac{6}{n^{l-1}+n^l}}$$
  上式中$n^l$是第l层神经元个数，$n^{l-1}$是第l-1层神经元个数。
• 对于tanh函数，r可以设置为
  $$r=4\sqrt{\frac{6}{n^{l-1}+n^l}}$$
  假设第l层的一个隐藏神经元$z^l$,其接收前一层的$n^{l-1}$个神经元的输出$a_i^{(l-1)}$，$i\in \left[1,n^{(l-1)}\right]$
  $$z^l=\sum _{i=1}^{n^{(l-1)}}{w}_i^l{a}_i^{(l-1)}$$
• 为了避免初始化参数使得激活函数变得饱和，需要尽量使得$z^l$处于激活函数的线性区间，也就是其绝对值较小的值，这时此神经元的激活值为$f\left(z^l\right)\approx z^l$。假设$w_i^l$和$a_i^{(l-1)}$的均值都是0，并且相互独立，则$a^l$的均值为
  $$\mathbb{E}\left[a^l\right]=\mathbb{E}\left[\sum _{i=1}^{n^{(l-1)}}{w}_i^l{a}_i^{(l-1)}\right]=\sum _{i=1}^{n^{(l-1)}}\mathbb{E}\left[{\mathbf{w}}_i\right]\mathbb{E}\left[a_i^{(l-1)}\right]=0$$
  $a^l$的方差为
  $$\begin{array}{rl}\mathrm{var}\left[a^l\right]& =\mathrm{var}\left[\sum _{i=1}^{n^{(l-1)}}{w}_i^l{a}_i^{(l-1)}\right]\\ & =\sum _{i=1}^{n^{(l-1)}}\mathrm{var}\left[w_i^l\right]\mathrm{var}\left[a_i^{(l-1)}\right]\\ & =n^{(l-1)}\mathrm{var}\left[w_i^l\right]\mathrm{var}\left[a_i^{(l-1)}\right]\end{array}$$
• 也就是说，输入信号的方差在经过此神经元后被放大或缩小了$n^{(l-1)}\mathrm{var}\left[w_i^l\right]$倍。为了使得在经过多层神经网络后，信号不被过分放大或缩小，尽可能保存每个神经元的输入和输出的方差一致，这样$n^{(l-1)}\mathrm{var}\left[w_i^l\right]$设为1比较合理，即
  $$\mathrm{var}\left[w_i^l\right]=\frac{1}{n^{(l-1)}}$$
• 作为折中，同时考虑信号在前向和反向传播中都不被放大或减小，可以设置
  $$\mathrm{var}\left[w_i^l\right]=\frac{2}{n^{(l-1)}+n^{(l)}}$$
• 在计算出参数的理想方差后，可以通过高斯分布或均匀分布来随机初始化参数。
• 高斯分布初始化：如果采用高斯分布来随机初始化参数时，连接权重$w_i^l$可以按$\mathcal{N}\left(0,\sqrt{\frac{2}{n^{(l-1)}+n^{(l)}}}\right)$的高斯分布进行初始化。
• 均匀分布初始化：假设算计变量x在区间[a,b]内服从均匀分布，则其方差为
  $$\mathrm{var}[x]=\frac{(b-a{)}^2}{12}$$
• 因此，如果采用区间为[-r,r]的均匀分布来初始化$w_i^l$，并满足$\mathrm{var}\left[w_i^l\right]=\frac{2}{n^{(l-1)}+n^{(l)}}$，则r的取值为
  $$r=\sqrt{\frac{6}{n^{l-1}+n^1}}$$

4.He初始化

• 当第l层神经元使用ReLU激活函数时，通常有一般的神经元输出为0，因此其分布的方差也近似为使用logistic作为激活函数时的一半。这样，只考虑前向传播时，参数$w_i^l$的理想方差为
  $$\mathrm{var}\left[w_i^l\right]=\frac{2}{n^{(l-1)}}$$
  其中$n^{l-1}$是第l-1层的神经元个数。
• 因此，当使用ReLU激活函数时，如果采用高斯分布来初始化参数$w_i^l$，其方差为$\frac{2}{n^{(l-1)}}$；如果采用区间为[-r,r]的均匀分布来初始化参数$w_i^l$时，则$r=\sqrt{\frac{6}{n^{l-1}}}$。

5.参考书籍

• 邱锡鹏：《神经网络与深度学习》