反向传播的推导

直观理解反向传播（Backpropagation intuition） 
反向传播的推导
下图是逻辑回归的推导： 


正向传播，其中我们计算?，然后?，然后损失函数?。 

神经网络的计算中，与逻辑回归十分类似，但中间会有多层的计算。

假设一个双层神经网络，有一个输入层，一个隐藏层和一个输出层。 

前向传播： 
计算?[1]，?[1]，再计算?[2]，?[2]，最后得到 loss function。 

反向传播： 
向后推算出??[2]，然后推算出??[2]，接着推算出??[1]，然后推算出??[1]。我们不需要
对?求导，因为?是固定的，我们也不是想优化?。向后推算出??[2]，然后推算出??[2]的步骤
可以合为一步：  
??[2] = ?[2] − ?  ，  ??[2] = ??[2]?[1]? 
??[2] = ??[2]  
??[1] = ?[2]???[2] ∗ ?[1]′(?[1])<