PyTorch学习笔记（15）权值初始化

权值初始化

梯度消失 梯度爆炸

两个相互独立的随机变量乘积的期望 等于 他们各自期望的乘积

$$\text{ 1. }\mathrm{E}(\mathbf{X}\ast \mathbf{Y})=\mathbf{E}(\mathbf{X})\ast \mathbf{E}(\mathbf{Y})$$
方差的公式

$$\text{ 2. }D(X)=E\left(X^2\right)-[E(X){]}^2$$

两个相互独立的随机变量之和的方差 等于 他们各自方差的和
$$\text{ 3. }\mathrm{D}(X+Y)=D(X)+D(Y)$$
由1.2.3.式可得
1.2.3 ⇒ D ( X + Y ) = D ( X ) ∗ D ( Y ) + D ( X