Xavier参数初始化方法和Kaiming参数初始化方法详细介绍及其原理详解

相关文章

1. 梯度下降算法、随机梯度下降算法、动量随机梯度下降算法、AdaGrad算法、RMSProp算法、Adam算法详细介绍及其原理详解
2. 反向传播算法和计算图详细介绍及其原理详解
3. 激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解
4. Xavier参数初始化方法和Kaiming参数初始化方法详细介绍及其原理详解

---

---

前言

  本文主要介绍了Xavier参数初始化方法和Kaiming参数初始化方法的基本概念以及公式原理性的推导过程，参数初始化的好坏直接关系到神经网络的训练结果，一个好的参数初始化方法，可以帮助我们避免梯度消失或者梯度爆炸的问题，所以对于参数初始化的学习也十分重要。下面就是本文的全部内容！

---

一、什么是参数初始化？

  假设现在有一个神经元，其包含三个参数，分别为$w_1,w_2,w_3$，这三个参数与三个输入数据$x_1,x_2,x_3$经过线性运算$y=w_1{x}_1+w_2{x}_2+w_3{x}_3$得到输出$y$，为了方便讨论，我们忽略截距$b$，整个运算过程如下图所示：

图1：一个神经元的前向传播过程

  很明显，我们需要给参数$w_1,w_2,w_3$都赋予一个初始值才能进行运算，那么该如何选择$w_1,w_2,w_3$的初始值使得神经网络的训练结果最好呢？当我们没有一个最优解的时候，可以试试最简单的方法，或许我们可以假设$w_i=0(1\le i\le 3)$，确实，这样可以进行运算并训练，但是通过这样的赋值后进行训练有什么问题呢？

  让我们基于刚刚的假设来看一个稍微复杂的情况，假如当前层的神经网络不止一个神经元，而是由两个神经元构成的，也就是如下图所示的结构：

图2：两个神经元的前向传播过程

  因为我们刚刚假设参数$w$初始化为0，所以此时的$w_{ij}=0(1\le i\le 2,1\le j\le 3)$：

图3：两个神经元的前向传播计算结果

  此时可以经过运算得到预测值$y_1$和$y_2$，根据之前学习的知识，我们要利用损失函数$L$来更新参数$w$，那么就要利用反向传播算法来最优化参数$w$。另外，在此情况下，$w$的参数较多，我们以参数$w_{11}$和$w_{21}$为例。根据反向传播算法可以得到损失函数$L$关于参数$w_{11}$的梯度值：
$$\frac{\partial L}{\partial w_{11}}=\frac{\partial L}{\partial y_1}{x}_1$$
  同理，我们也可以计算损失函数$L$关于参数$w_{21}$的梯度值：
$$\frac{\partial L}{\partial w_{21}}=\frac{\partial L}{\partial y_2}{x}_1$$
  因为损失函数$L$是关于参数$y$的函数，所以：
$$\frac{\partial L}{\partial y_1}\equiv \frac{\partial L}{\partial y_2}$$
  那么很明显，损失函数$L$关于参数$w_{11}$和$w_{21}$的梯度值都是相等的：
$$\frac{\partial L}{\partial w_{11}}\equiv \frac{\partial L}{\partial w_{21}}$$

  所以，如果我们将参数全部初始化为0，那么在训练过程中参数的变化就是一样的，也就意味着这一层的两个神经元状态会始终保持一致，没有办法学习和表达更复杂的特征，这种情况也被称为神经元的对称现象：

图4：神经元的对称现象

  很明显，这种对称现象是我们需要避免的，既然参数全部初始化为0会导致对称现象，那么我们是不是可以在参数初始化的时候增加一点随机性呢？我们可以随机在服从独立正态分布$\mathcal{N}(0,1)$的$w_i$中选取$w_1,w_2,w_3$来作为初始化的参数使用，如下图所示：

图5：标准正态分布函数图像

  为了方便讨论，我们假设三个输入值都为1，代入到线性运算$y=w_1{x}_1+w_2{x}_2+w_3{x}_3$得到$y=w_1+w_2+w_3$：

图6：拥有三个输入值的简单线性运算示例

  此时，我们计算一下输出$y$的方差，$\mathrm{Var}(y)$其中需要注意的是，$w_1,w_2,w_3$是独立同分布于正态分布的参数，所以可以计算得到输出$y$的方差$\mathrm{Var}(y)$：
$$\mathrm{Var}(y)=\mathrm{Var}\left(w_1\right)+\mathrm{Var}\left(w_2\right)+\mathrm{Var}\left(w_3\right)=3$$
  对其开根号就可以得到输出$y$的标准差$\mathrm{Std}(y)$：
$$\mathrm{Std}(y)=\sqrt{3}=1.732$$
  此时输出$y$的方差和标准差意味着输入$x_1,x_2,x_3$经过神经元之后，输出$y$的离散程度被提高了。

  让我们考虑一种更通用的情况，上面讨论的是神经元只有3个输入的情况，那如果现在神经元不止三个输入，而是$n$个输入，并且为了方便讨论，假设此$n$个输入的输入值都为1。

图7：拥有n个输入值的简单线性运算示例

  此时可以注意到，$y={\sum }_{i=1}^n{w}_i$，根据刚才的讨论，此时输出$y$的方差$\mathrm{Var}(y)$为：
$$\mathrm{Var}(y)=n\mathrm{Var}\left(w_i\right)=n$$
  同样，对其开根号就可以得到输出$y$的标准差$\mathrm{Std}(y)$：
$$\mathrm{Std}(y)=\sqrt{n}$$
  可以看到，当神经元的输入越多时，输出$y$的标准差$\mathrm{Std}(y)$也就越大，这也就意味着其离散程度会被放大$\sqrt{n}$倍。当我们得到输出$y$后，又面临两种情况：

• 不使用任何激活函数

  那么放大的$y$值就会被累积在反向传播的过程中，这样就会造成梯度过大，从而导致梯度爆炸问题

• 使用激活函数

  比如利用双曲正切函数作为激活函数，那么就可能因为$y$值的不稳定（过大或过小），而得到一个非常小的梯度，从而导致梯度消失问题

图8：tanh激活函数图像

  以上讨论的就是关于参数初始化的内容，可以看到，参数的初始化直接关系到神经网络模型训练的好坏，那么究竟该如何进行参数的初始化，使得神经网络模型的准确率或者是性能最佳呢？这也是下面我们要讨论的问题。

二、Xavier参数初始化方法

  上面我们已经讨论过了，为了让神经网络训练过程稳定下来，那么我们需要选取合适的参数进行初始化，从而让$y$的方差落在一个可控的范围内。仍以上面的讨论为例，假设有$n$个输入都为1，经过线性运算后得到$y$，这个过程如下图所示：

图9：拥有三个输入值的简单线性运算示例

  既然我们的目的是让$y$的方差稳定，不妨在上面假设的情况中设$y$最终的方差为1，此时$y$的方差就在一个可控的范围内：
$$\mathrm{Var}(y)=n\mathrm{Var}\left(w_i\right)=1$$
  我们可以根据此式很容易的计算出参数$w_i(1\le i\le n)$分布的方差：
$$\mathrm{Var}\left(w_i\right)=\frac{1}{n}$$
  此时我们考虑一种更普遍的情况，也就是不仅考虑到输入的维度会对$y$的方差造成影响，同时考虑到下一层神经元的数量，那么平均之后参数$w_i$分布的方差为：
$$\mathrm{Var}\left(w_i\right)=\frac{2}{n_{\text{in }}+n_{\text{out }}}$$
  其中，$n_{in}$为输入层神经元的数量，$n_{out}$为输出层神经元的数量。

2.1 正态分布参数初始化

  现在我们已经知道了参数$w_i$应该满足的方差，那么我们可以让参数$w_i$在满足如下条件的正态分布中随机采样：
$$\mathcal{N}\left(0,\frac{2}{n_{\text{in }}+n_{\text{out }}}\right)$$
  此时我们就可以使输出$y$的方差稳定，从而更好的训练模型，这种方法也被称为正态分布初始化。

2.2 均匀分布参数初始化

  首先，让我们回顾一下均匀分布的相关基础知识：当$w_i$满足从$a$到$b$的均匀分布$\mathcal{U}(\mathrm{a},\mathrm{b})$时，$w_i$的期望$E(w_i)$为：
$$E(w_i)=\frac{(a+b)}{2}$$
  所以，$w_i$的方差$\mathrm{Var}(w_i)$为：
$$\mathrm{Var}(w_i)=E(w_i^2)-E(w_i{)}^2=\frac{(b-a{)}^2}{12}$$

  当我们对均匀分布的基础知识有了了解之后，就容易做下面的工作了。因为我们需要保证采样的均值为零，所以我们可以取$w_i$均匀分布的范围为$-a$到$a$，所以此时$w_i$满足的均匀分布为$\mathcal{U}(-\mathrm{a},\mathrm{a})$。那么此时代入公式得到$w_i$的方差$\mathrm{Var}(w_i)$为：
$$\mathrm{Var}(w_i)=\frac{a^2}{3}$$
  刚刚我们分析过，参数$w_i$的方差为$\mathrm{Var}\left(w_i\right)=\frac{2}{n_{\text{in }}+n_{\text{out }}}$时效果最好，所以可以得到：
$$\mathrm{Var}(w_i)=\frac{a^2}{3}=\frac{2}{n_{\text{in }}+n_{\text{out }}}$$
  那么代入数据反解得到参数$w_i$应满足的均匀分布为：
$$\mathcal{U}\left(-\sqrt{\frac{6}{n_{\text{in }}+n_{\text{out }}}},\sqrt{\frac{6}{n_{\text{in }}+n_{\text{out }}}}\right)$$
  在实际应用中，正态分布初始化和均匀分布初始化都可以达到不错的效果，可以在一定程度上缓解梯度爆炸和梯度消失现象。这两种参数初始化方法就是2010年提出来的Xavier初始化方法。此种参数初始化的方法非常适合于双曲正切函数作为激活函数的情况。

2.3 Xavier参数初始化方法目标方差推导

  上面只是对Xavier初始化方法做了一个简要的介绍，直接说明了其方差大小，但是这个方差是怎么得到的呢？这才是我们需要讨论的问题，可能有些难度，听我细细道来！首先，我们要有一些关于概率论与数理统计的基础知识储备：

• 公式一：
  $$\mathrm{Var}(X)=E\left(X^2\right)-E(X{)}^2$$

• 公式二：
  $$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$$

• 公式三：
  $$\mathrm{Var}(XY)=\mathrm{Var}(X)\mathrm{Var}(Y)+\mathrm{Var}(X)E(Y{)}^2+\mathrm{Var}(Y)E(X{)}^2$$

  这三个公式是关于变量$X$和$Y$的期望和方差的相关计算，并且默认以上讨论的情况中和$Y$相互独立，至于此公式怎么来的在此不赘述，默认读者有此方面基础（Ps：这部分内容并不是硬性要求一定需要看的）。现在考虑在正向传播中第$i$层的神经元：

图10：前向传播过程

  需要注意，我们忽略截距$b$的影响，其中：

• 输入维度为$n$
• 输出维度为$m$
• 参数为$w$向量
• 线性输出为$y$
• 激活函数为$f$

  另外，为了方便讨论，我们做如下假设：

• 假设一：$E(x)=0,E(w)=0$
• 假设二：激活函数$f$对称，且${f}'(0)=1 $
• 假设三：$x$的方差都是相等的

  有了以上基础概念和假设后，我们可以很明显的得到第$i$层神经元的输出$y^l$的值为：
$$y^l=\sum _{i=1}^n{w}_i^l{x}_i^{l-1}$$

  由公式二可知，$y^l$的方差$\mathrm{Var}(y^l)$为：
$$\mathrm{Var}(y^l)=\sum _{i=1}^n\mathrm{Var}(w_i^l{x}_i^{l-1})=n\mathrm{Var}(w_i^l{x}_i^{l-1})$$
  让我们利用公式三，将$\mathrm{Var}(y^l)=n\mathrm{Var}(w_i^l{x}_i^{l-1})$继续向下展开计算，得到：
$$\mathrm{Var}\left(y^l\right)=n\left[\mathrm{Var}\left(w_i^l\right)\mathrm{Var}\left(x_i^{l-1}\right)+\mathrm{Var}\left(w_i^l\right)E{\left(x_i^{l-1}\right)}^2+\mathrm{Var}\left(x_i^{l-1}\right)E{\left(w_i^l\right)}^2\right]$$
  这个式子看起来很长对吧，但是别忘了我们上面的假设一，由假设一我们可以将上式化简，得到：
$$\mathrm{Var}(y^l)=n\mathrm{Var}(w_i^l)\mathrm{Var}(x_i^{l-1})$$
  我们清楚，$y^l$是由上一层的输入$x_i^{l-1}$计算得到的，其中需要经过激活函数的映射，但是在假设二这种情况下，此时的激活函数$f$近似于恒等映射 ，也就是说可以认为：$x_i^{l-1}=y^{l-1}$，所以，此时有：
$$\mathrm{Var}(y^l)=n\mathrm{Var}(w_i^l)\mathrm{Var}(y^{l-1})$$
  再回到我们一开始讨论的问题，因为我们希望每一层训练结果的方差都是稳定的，所以两层$y$值的方差应该是相等的：$\mathrm{Var}(y^l)=\mathrm{Var}(y^{l-1})$，只有这样输出结果$y$就不会有太大波动，从而避免了梯度爆炸或者梯度消失，在这种条件下有：
$$n\mathrm{Var}(w_i^l)=1$$
  从而得到：
$$\mathrm{Var}(w_i^l)=\frac{1}{n}$$
  其中$n$代表输入层神经元的数量，也可以用$n_{in}$来表示，所以有：
$$\mathrm{Var}(w_i^l)=\frac{1}{n_{in}}$$
  此时，我们已经从正向传播的角度分析得到了参数$w_i$的方差。那如果我们还是在以上的条件下，讨论反向传播时参数$w_i$应该取得的方差呢？下图为上面讨论的正向传播的反向传播过程，其余假设不变：

图11：反向传播过程

  在反向传播的过程中，我们肯定要计算损失函数$L$对于各参数的梯度值，通过进行梯度值的计算，得到参数$w_i$应该满足的方差，此时我们可以得到损失函数$L$对于$l-1$层$x_i$的梯度值$\frac{\partial L}{\partial x_i^{l-1}}$为：
$$\frac{\partial L}{\partial x_i^{l-1}}=\sum _{j=1}^m\frac{\partial L}{\partial x_j^l}\frac{\partial x_j^l}{\partial y^l}\frac{\partial y^l}{\partial x_i^{l-1}}$$
  其中，需要注意以下两点：

• $\frac{\partial x_j^l}{\partial y^l}$就是激活函数$f$的导数，由假设二可知，$\frac{\partial x_j^l}{\partial y^l}=1$
• 我们可以很轻松的计算得到：$\frac{\partial y^l}{\partial x_i^{l-1}}=w_i^l$，因为这就是一个简单的线性运算

  根据以上两点，我们可以得到：
$$\frac{\partial L}{\partial x_i^{l-1}}=\sum _{j=1}^m\frac{\partial L}{\partial x_j^l}{w}_i^l$$
  这里计算方法就与正常传播的计算过程一样，我们可以得到$\frac{\partial L}{\partial x_i^{l-1}}$的方差$\mathrm{Var}(\frac{\partial L}{\partial x_i^{l-1}})$为：
$$\mathrm{Var}(\frac{\partial L}{\partial x_i^{l-1}})=m\mathrm{Var}(\frac{\partial L}{\partial x_j^l})\mathrm{Var}(w_i^l)$$
  此运算过程已介绍过，在此不再赘述。另外，我们要保证反向传播过程中计算结果的方差的稳定性，所以有：
$$\mathrm{Var}(\frac{\partial L}{\partial x_i^{l-1}})=\mathrm{Var}(\frac{\partial L}{\partial x_i^l})$$
  利用以上信息可以得到：
$$m\mathrm{Var}(w_i^l)=1$$
  所以，最终可以得到：
$$\mathrm{Var}(w_i^l)=\frac{1}{m}$$
  其中m代表输出层神经元的个数，也可以用$n_{out}$来表示，所以有：
$$\mathrm{Var}(w_i^l)=\frac{1}{n_{out}}$$
  此时，我们将正向传播和反向传播的参数$w_i$的方差做一个平均值，就可以得到Xavier初始化方法的目标方差：
$$\mathrm{Var}(w_i^l)=\frac{2}{n_{in}+n_{out}}$$
  这也就意味着，当我们的的参数$w_i$的方差为$\frac{2}{n_{in}+n_{out}}$时，可以使神经网络的训练结果更稳定，从而避免梯度消失和梯度爆炸的问题。在本节的最开始，只是对Xavier初始化方法进行了简单介绍，对于其中参数$w_i$方差的选取只是进行了简单假设，而在这部分对此知识点进行了详细的推导，可以看到，确实可以得到我们想要的结果，那么此时我们就可以利用上面介绍过的两种初始化方法进行参数的初始化选取：

• 正态分布初始化
  $$\mathcal{N}\left(0,\frac{2}{n_{\text{in }}+n_{\text{out }}}\right)$$

• 均匀分布初始化
  $$\mathcal{U}\left(-\sqrt{\frac{6}{n_{\text{in }}+n_{\text{out }}}},\sqrt{\frac{6}{n_{\text{in }}+n_{\text{out }}}}\right)$$

  另外，还有一点需要注意，在我们的假设二中，需要满足激活函数$f$对称，且${f}'(0)=1 $，而满足这种要求的非线性激活函数，一般只有双曲正切函数，这也证明了，Xavier初始化方法为什么适用于双曲正切函数，而不适用于ReLU激活函数。

  以上就是关于Xavier初始化方法的公式推导过程，可以看到并不是很难，都是一些基础的数学知识，通过整个推导过程再结合上面介绍的基础知识，我相信各位读者一定对Xavier初始化方法有了更深刻的理解。

三、Kaiming参数初始化方法

  让我们考虑另外一种情况，当上一层传过来的值是使用ReLU激活函数得到的，那么大约有一半的输入会变成零，这种情况如下图所示：

图12：使用ReLU激活函数计算后的n个输入值的简单线性运算示例

  那么$y$的方差就变成了原来的一半，因为只有一半的参数“有效”，因为我们还要保证输出$y$的值稳定，也就意味着$y$的方差为仍为1：
$$\mathrm{Var}(y)=\frac{1}{2}n\mathrm{Var}\left(w_i\right)=1$$
  所以，参数$w_i$的方差变为：
$$\mathrm{Var}(w_i)=\frac{2}{n}$$
  刚才讨论的情况是使用ReLU函数作为激活函数的情况，那如果上一层使用P-ReLU函数作为激活函数，其函数图像如下所示：

图13：P-ReLU激活函数图像

  P-ReLU激活函数的解析式如下所示：
$$P-ReLU(y)=\{\begin{array}{ll}y,& y>0\\ \alpha y,& y\le 0\end{array}$$
  如果我们使用P-ReLU函数作为激活函数，那么参数$w_i$的方差就变为：
$$\mathrm{Var}(w_i)=\frac{2}{n(1+{\alpha }^2)}$$
  可以看到与使用ReLU函数作为激活函数时的差别为分母的$1+{\alpha }^2$，因为我们要考虑到修正对参数初始化的影响。现在我们已经得到了在分别使用ReLU激活函数和P-ReLU激活函数情况下参数$w_i$的方差，也就是说，当参数$w_i$的方差为我们上面讨论的结果时，输出$y$的值是稳定的，当输出$y$的值稳定后，就会避免梯度消失和梯度爆炸的问题，也就会让模型的训练精度更高。

3.1 正态分布参数初始化

  有了上面讨论的基础后，并且已经得到了参数$w_i$的方差，那么很自然的就能求出当参数$w_i$应该服从的正态分布：
$$\mathcal{N}\left(0,\frac{2}{n(1+{\alpha }^2)}\right)$$

3.2 均匀分布参数初始化

  同理，我们也可以写出参数$w_i$应该服从的均匀分布：
$$\mathcal{U}\left(-\sqrt{\frac{6}{n(1+{\alpha }^2)}},\sqrt{\frac{6}{n(1+{\alpha }^2)}}\right)$$
  以上讨论的内容就是2015年提出来的Kaiming初始化方法，此种方法适用于当激活函数为ReLU函数时的情况。

3.3 Kaiming参数初始化方法目标方差推导

  当我们进行Kaiming初始化方法目标方差的推导时，仍考虑同样的神经元的正向传播过程，而且此时的激活函数$f$为ReLU激活函数，整个过程如下图所示：

图14：前向传播过程

  此时的假设条件有些变化：

• 假设一：$E(w)=0$
• 假设二：$x$的方差都是相等的

  并且我们仍需要使用到三个基础公式：

• 公式一：
  $$\mathrm{Var}(X)=E\left(X^2\right)-E(X{)}^2$$

• 公式二：

$$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$$

• 公式三：

$$\mathrm{Var}(XY)=\mathrm{Var}(X)\mathrm{Var}(Y)+\mathrm{Var}(X)E(Y{)}^2+\mathrm{Var}(Y)E(X{)}^2$$

  前面的推导过程都与Xavier初始化方法的推导过程一样，我们仍旧可以得到：
$$\mathrm{Var}(y^l)=n\mathrm{Var}(w_i^l{x}_i^{l-1})$$
  仍然使用公式三对其进行展开计算：
$$\mathrm{Var}\left(y^l\right)=n\left[\mathrm{Var}\left(w_i^l\right)\mathrm{Var}\left(x_i^{l-1}\right)+\mathrm{Var}\left(w_i^l\right)E{\left(x_i^{l-1}\right)}^2+\mathrm{Var}\left(x_i^{l-1}\right)E{\left(w_i^l\right)}^2\right]$$
  由假设一，我们可以继续得到：
$$\mathrm{Var}\left(y^l\right)=n\left[\mathrm{Var}\left(w_i^l\right)\mathrm{Var}\left(x_i^{l-1}\right)+\mathrm{Var}\left(w_i^l\right)E{\left(x_i^{l-1}\right)}^2\right]$$
  由公式一，我们可以继续得到：
$$\mathrm{Var}(y^l)=n[\mathrm{Var}(w_i^l)E[(x_i^{l-1}{)}^2]-\mathrm{Var}(w_i^l)E(x_i^{l-1}{)}^2+\mathrm{Var}(w_i^l)E(x_i^{l-1}{)}^2]$$
  可以注意到，上式最后两项互为相反数，所以可以得到：
$$\mathrm{Var}(y^l)=n\mathrm{Var}(w_i^l)E[(x_i^{l-1}{)}^2]$$
  因为第$l-1$层的$x_i$是第$l-1$层的$y$经过ReLU激活函数$f$得到的，所以有：$x_i^{l-1}=f(y^{l-1})$，那么上式又等于：
$$\mathrm{Var}(y^l)=n\mathrm{Var}(w_i^l)E[(f(y^{l-1}){)}^2]$$
  根据概率论与数理统计中关于概率密度的知识可以得到：
$$E\left[{\left(f\left(y^{l-1}\right)\right)}^2\right]={\int }_{-\infty }^{+\infty }f{\left(y^{l-1}\right)}^{2}p\left(y^{l-1}\right)d\left(y^{l-1}\right)$$
  因为激活函数$f$为ReLU激活函数，所以不需要积分小于零的部分（因为小于零时，函数值为零），而且大于零的部分$f(y)=y$，所以通过上式可以得到：
$$E\left[{\left(f\left(y^{l-1}\right)\right)}^2\right]={\int }_0^{+\infty }{\left(y^{l-1}\right)}^{2}p\left(y^{l-1}\right)d\left(y^{l-1}\right)+{\int }_{-\infty }^0{\alpha }^2{\left(y^{l-1}\right)}^{2}p\left(y^{l-1}\right)d\left(y^{l-1}\right)$$
  上式的第一部分就是从零到正无穷的积分，并且可以拿掉激活函数$f$的表达式，需要注意的是第二部分，因为Parametric ReLU激活函数和Leaky ReLU激活函数中负半轴的函数值并不为零，而是和$\alpha$有关系，并不一直为零，所以也要考虑上，如果使用ReLU激活函数就不用写第二部分，其中$\alpha$是负半轴激活函数的斜率值。此时，经过积分的计算与期望的概率密度知识我们可以得到：
$$E\left[{\left(f\left(y^{l-1}\right)\right)}^2\right]=\frac{1}{2}E[(y^{l-1}{)}^2]+\frac{1}{2}{\alpha }^{2}E[(y^{l-1}{)}^2]$$
  将上式得到的$E\left[{\left(f\left(y^{l-1}\right)\right)}^2\right]$带入到$\mathrm{Var}(y^l)=n\mathrm{Var}(w_i^l)E[(f(y^{l-1}){)}^2]$中可以得到：
$$\mathrm{Var}(y^l)=\frac{1}{2}n(1+{\alpha }^2)\mathrm{Var}(w_i^l)E[(y^{l-1}{)}^2]$$
  另外，由公式一可以得到：
$$E[(y^{l-1}{)}^2]=\mathrm{Var}(y^{l-1})+E[(y^{l-1}){]}^2$$
  由假设一可知，$E[(y^{l-1}){]}^2=0$，所以可以得到：
$$E[(y^{l-1}{)}^2]=\mathrm{Var}(y^{l-1})$$
  有了这个等式，将其带入到$\mathrm{Var}(y^l)=\frac{1}{2}n(1+{\alpha }^2)\mathrm{Var}(w_i^l)E[(y^{l-1}{)}^2]$中可以得到：
$$\mathrm{Var}(y^l)=\frac{1}{2}n(1+{\alpha }^2)\mathrm{Var}(w_i^l)\mathrm{Var}(y^{l-1})$$
  为了使神经网络的输出值稳定，所以我们仍希望每一层$y$的方差是稳定的，所以令：
$$\mathrm{Var}(y^l)=\mathrm{Var}(y^{l-1})$$
  那么，经过计算可以得到：
$$\frac{1}{2}n(1+{\alpha }^2)\mathrm{Var}(w_i^l)=1$$
  从而有：
$$\mathrm{Var}(w_i^l)=\frac{2}{n(1+{\alpha }^2)}$$
  这时我们就得到了Kaiming初始化方法的目标方差，而反向传播过程同理，在此不再赘述，当我们得到Kaiming初始化方法的目标方差后，就可以使用上面介绍的两种初始化方法进行参数的初始化选取：

• 正态分布初始化
  $$\mathcal{N}\left(0,\frac{2}{n(1+{\alpha }^2)}\right)$$

• 均匀分布初始化：
  $$\mathcal{U}\left(-\sqrt{\frac{6}{n(1+{\alpha }^2)}},\sqrt{\frac{6}{n(1+{\alpha }^2)}}\right)$$

  以上介绍的就是关于Kaiming初始化方法的目标方差推导过程，可以看到整个过程还是稍稍复杂一些，但是经过计算后也得到了我们想要的结果，这样就可以让我们的神经网络训练效果更好，从而避免梯度消失或者梯度爆炸问题。另外，通过以上的推导过程，也可以看到，Kaiming初始化方法适用于ReLU系列的激活函数。

---

总结

  以上就是本文的全部内容，内容确实不少，我也总结了好久，希望读者可以学到自己需要的知识，加油！