网络参数初始化

参考：《解析深度学习——卷积神经网络原理与视觉实践》

网址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

实际应用中，随机参数服从高斯分布或均匀分布

一、Xaiver参数初始化方法和He参数初始化方法

（1）Xaiver参数初始化方法

随机初始化+方差大小的规范化

, n指输入神经元个数n_in，也可以指定为（n_in+n_out)/2。

Xaiver参数初始化方法收敛速度快原因：维持了输入输出数据分布方差的一致性。具体分析：

缺点：未考虑非线性函数对输入的影响。

（2）He参数初始化方法

将Xaiver参数初始化方法中方差规范化的分母改为