机器学习基础篇-参数的初始化

参数的初始化

在通用的机器学习框架中，已经提供了许多参数初始化的功能。在我们初始化参数时，通常会确保参数W比较小。这样做的原因是，如果你使用sigmoid函数，而且你的参数初始值比较大，那么你的梯度就会变得很小，收敛比较慢。

在NN训练过程中，神经元个数越多，权重应该更小。我们用如下图方式进行表达：

这样做的原因是如果隐藏神经元的数量较大，我们更愿意为参数分配较小的值，以防止训练梯度消失或梯度爆炸。