参数的初始化 在通用的机器学习框架中,已经提供了许多参数初始化的功能。在我们初始化参数时,通常会确保参数W比较小。这样做的原因是,如果你使用sigmoid函数,而且你的参数初始值比较大,那么你的梯度就会变得很小,收敛比较慢。 在NN训练过程中,神经元个数越多,权重应该更小。我们用如下图方式进行表达: 这样做的原因是如果隐藏神经元的数量较大,我们更愿意为参数分配较小的值,以防止训练梯度消失或梯度爆炸。