参考:《解析深度学习——卷积神经网络原理与视觉实践》
网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf
实际应用中,随机参数服从高斯分布或均匀分布
一、Xaiver参数初始化方法和He参数初始化方法
(1)Xaiver参数初始化方法
随机初始化+方差大小的规范化
, n指输入神经元个数n_in,也可以指定为(n_in+n_out)/2。
Xaiver参数初始化方法收敛速度快原因:维持了输入输出数据分布方差的一致性。具体分析:
缺点:未考虑非线性函数对输入的影响。
(2)He参数初始化方法
将Xaiver参数初始化方法中方差规范化的分母改为。
(3)上述两种方法比较<