网络模型的初始值设定

网络模型的初始值

1.方法一

一般总是使用服从（截断）高斯或均匀分布的随机值，具体是高斯还是均匀分布影响不大，

但初始值的大小会对优化结果和网络的泛化能力产生较大的影响

更大的初始值有助于避免冗余的单元；但如果初始值太大，又会造成梯度爆炸

 

2.方法二

一些启发式初始化策略通常是根据输入与输出的单元数来决定初始权重的大小，如粒子群算法，蚁群算法，比如 Glorot and Bengio (2010) 中建议建议使用的标准初始化，其中 m 为输入数，n 为输出数

3.方法三

还有一些方法推荐使用随机正交矩阵来初始化权重 (Saxe et al., 2013)。