Pytorch系列之——损失函数、优化器

权值初始化

前面我们介绍了如何搭建网络模型，在模型搭建好之后一个非常重要的步骤就是对模型当中的权值进行初始化。正确的权值初始化可以加快模型的收敛，而不恰当的权值初始化可能会引发梯度的消失或爆炸，最终导致模型无法训练。

• 梯度消失与爆炸
• Xavier方法与Kaiming方法
• 常用初始化方法

梯度消失与爆炸

首先观察模型是怎么对W2进行求导的，我们有：
$$H_2=H_1\ast W_2$$
$$\begin{gathered} \Delta W_2=\frac{\partial Loss}{\partial out}\ast \frac{\partial out}{\partial H_2}\ast \frac{\partial H_2}{\partial w_2} \\ =\frac{\partial Loss}{\partial out}\ast \frac{\partial out}{\partial H_2}\ast H_1 \end{gathered}$$

H1是上一层神经元的输出值，我们会发现W2的梯度会依赖于上一层的输出，如果H1的输出非常小比如趋向于0的话，那么W2的梯度也就会趋向于0，从而导致了梯度消失；如果H1趋向于无穷大，那么W2的梯度也就会趋向于无穷大，从而导致了梯度爆炸。一旦发生梯度消失或者梯度爆炸，那么就会导致模型无法正常训练。所以若要控制模型的梯度消失或梯度爆炸，就要严格控制网络输出层的输出值的一个尺度范围，也就是不能让每一层网络层的输出值太大或者太小。

接下来我们通过方差的公式推导来观察为什么网络层输出的标准差会越来越大？最终会超出我们可表示的范围？在进行方差公式推导之前，我们先来复习三个基本的公式：

• E ( X ∗ Y ) = E ( X ) ∗ E ( Y ) E(X * Y) = E(X) * E(Y)