权值初始化

1.权值初始化的作用：正确的权值初始化可以促进模型的快速收敛，不正确的权值初始化可能使得模型发生梯度消失有及梯度爆炸，最后出现模型难以训练的情况。
2.梯度消失与爆炸的原因：

3.无激活函数的输入与权值控制（方差一致性原则）：

其中，图中的两个1分别为输入和权值的方差，在无激活函数的情况下，输入的方差应该控制在1，权值的方差应该控制在根号1/n.
4.有激活函数的输入与权值控制（方差一致性原则）：
每一个不同的激活函数拥有属于自己的初始化原则