深度学习基础笔记

原贴：http://yongyuan.name/blog/back-propagtion.html?utm_source=tuicool&utm_medium=referral

文中提到：注意，在我们继续向前推进反向传播的时候，在要使用到w5w5、w6w6、w7w7和w8w8的地方，我们仍然使用的是原来的权重，而不是更新后的权重。

即是说在第2次前向传播时，使用的是更新的权重来计算Loss，但是在反向传播调整权重时，调整的是最初的权重。

更新权重的方法为，总误差对每个权重单独求偏导，然后每个权重值单独减去学习率与偏导的乘积。