Ycarryon的博客

翻译 理解 xavier 初始化在神经网络中的作用

我们需要从均值为零且方差为 1/N 的高斯分布中选择权重，其中 N 指定输入神经元的数量。当您使用深度神经网络时，使用正确的权重初始化网络可能是造成网络在合理时间内收敛和网络的损失函数即使在数十万次迭代后也不消失这两种不同结果的重要原因。如果我们将其用作激活函数，那么我们知道当接近零时，它是近似线性的。因此，在实际实现过程中，我们只取输入神经元的数量。因此，如果我们希望 y 的方差与 x 相同，那么项“N * var（wi）”应该等于 1。请注意，“b”是一个常数，方差为零，因此它将消失。