直观理解反向传播(Backpropagation intuition)
反向传播的推导
下图是逻辑回归的推导:
正向传播,其中我们计算?,然后?,然后损失函数?。
神经网络的计算中,与逻辑回归十分类似,但中间会有多层的计算。
假设一个双层神经网络,有一个输入层,一个隐藏层和一个输出层。
前向传播:
计算?[1],?[1],再计算?[2],?[2],最后得到 loss function。
反向传播:
向后推算出??[2],然后推算出??[2],接着推算出??[1],然后推算出??[1]。我们不需要
对?求导,因为?是固定的,我们也不是想优化?。向后推算出??[2],然后推算出??[2]的步骤
可以合为一步:
??[2] = ?[2] − ? , ??[2] = ??[2]?[1]?
??[2] = ??[2]
??[1] = ?[2]???[2] ∗ ?[1]′(?[1])<