在开始训练网络之前,需要初始化网络的参数。
-
错误:全零初始化
虽然可以假设最终的权重数值中,大约一半为正数,一半为负数,但不能因此把这些权重的初始值都设为 0。
因为如果网络中的每个神经元都计算出同样的输出,它们就会在反向传播中计算出同样的梯度,从而进行同样的参数更新,导致所有隐层单元都只学习到一个相同的特征,神经元之间就失去了不对称性的源头。
-
小随机数初始化
因此,权重初始值要非常接近 0 又不能等于 0。解决方法就是将权重初始化为很小的随机数值,以此来打破对称性 (Symmetry breaking)。对于 ReLU 激活函数, 权值通常初始化为:
w = n p . r a n d o m . r a n d n ( n ) ∗ 2 n w = np.random.randn(n) * \sqrt{\frac{2}{n}} w=np.random.randn(n)∗n2
其中,randn() 函数是基于零均值和标准差的一个高斯分布来生成随机数。如果神经元刚开始的时候是随机且不相等的,那么它们将计算出不同的更新,各自学习到不同的特征。
-
偏置(biases)的初始化
通常将偏置初始化为 0,这是因为随机小数值权重矩阵已经打破了对称性。对于 ReLU 非线性激活函数,有研究人员喜欢使用如 0.01 这样的小数值常量作为所有偏置的初始值,这是因为他们认为这样做能让所有的 ReLU 单元一开始就激活,这样就能保存并传播一些梯度。然而,这样做是不是总是能提高算法性能并不清楚(有时候实验结果反而显示性能更差),所以通常还是使用0来初始化偏置参数。