weixin_43905181的博客

原创 深度学习模型的参数W为什么不能初始化为0？

都是学习过程中的个人理解，会涉及有点复杂的数学思路，并且没有辅以方便理解的实例，可能解释得不是那么清楚。首先，深度学习中的求导过程，是当给定模型之后，给定W和b之后，通过loss = δ(y), y = σ(W, b)给出的，对损失函数结果进行求导的结果而结果是W和b各自的梯度。所以实际上“自变量”是W, b，希望W和b都按着自己的梯度走一小步，这样可以使得loss逐渐靠近最小（不是严格的loss总梯度靠近，而是以每个自变量的偏导数近似靠近）。如果举一个简单的例子，模型只存在一个隐层