权重初始化总结

https://www.cnblogs.com/makefile/p/init-weight.html?utm_source=itdadao&utm_medium=referral

1.随机初始化权重

2.Xavier权重初始化

Xavier初始化可以帮助减少梯度弥散问题， 使得信号在神经网络中可以传递得更深。是最为常用的神经网络权重初始化方法。

对于权值的分布：是一个让均值为0，方差为1 / 输入的个数 的 均匀分布。

不同层初始化的权重方差并不相同，但都很小，毕竟是一个1/n的值。

会保证权重本身开始时候不会过大，那么Wx+b也就不会很大，从而不会落在非线性激活函数的梯度饱和区域，那么这个时候就能够保证求解梯度时不会出现梯度接近于0的情况。

3. MSRA

msra初始化是基于高斯分布的，不是xavier使用的均匀分布。

对于权值的分布，是基于均值为0，方差为 2 /输入的个数 的高斯分布，这也是和上面的Xavier Filler不同的地方；它特别适合激活函数为 ReLU函数的