十二、机器学习进阶知识：神经网络之参数初始化

参数初始化

在不同的神经网络中均存在参数需要在训练前进行初始化，例如径向基神经网络（RBFNN）隐含层的中心点、宽度向量，输出层的权值、阈值。初始化的参数好坏将直接影响网络收敛的速度及效果，常用的神经网络的参数初始化方法大致可以分为三种，它们分别为预训练初始化、随机初始化以及固定值初始化。

1、预训练初始化

预训练初始化是指对于在同一个数据集上已经完成训练后的神经网络模型可以获得一个较好的参数值，以此作为参数初始值来进行新的网络训练。

2、随机初始化

随机初始化是指按照某种公式或规则确定神经网络参数的范围，然后在这个范围内随机生成初始化参数。

3、固定值初始化

固定值初始化相对前两种方法使用较少，这一方法采用固定值作为神经网络的参数初始值，例如当使用ReLU作为激活函数时，将偏置的初始值设为0.01可以使训练初期更容易激活。

4、对比

上面三种初始化方法中，预训练初始化是基于已训练好的模型来生成初始参数，当使用此方法初始参数时，训练初期会取得较好的收敛效果，但后期的收敛效果则无法得到保证，相对来说不够灵活，而部分三层神经网络一般不考虑进行偏置的设定，此时使用固定值初始化方法无法达到设定偏置的效果，因此这一方法的可适用面相对另外两种方法来说更小。综上所述，研究者们更多的使用随机参数初始化方法。

5、常见的参数随机初始化方法

（1）随机初始化（Random Initialization），主要包