CNN（二）

反向传播的理解

在整个计算线路图中，每个门单元都会得到一些输入并立即计算两个东西：

1. 这个门的输出值
2. 其输出值关于输入值的局部梯度。

门单元完成这两件事是完全独立的，它不需要知道计算线路中的其他细节。然而，一旦前向传播完毕，在反向传播的过程中，门单元门将最终获得整个网络的最终输出值和在自己的输出值上的梯度。
链式法则指出，门单元应该将回传的梯度乘以它对其的输入的局部梯度，从而得到整个网络的输出对该门单元的每个输入值的梯度。