cnn 反向传播推导_在CNN中的反向传播

本文使用 Zhihu On VSCode 创作并发布

此文为翻译.

1. 链式法则

先理解一下在反向传播中的链式法则。 假设有下面这个等式：

我们可以把它划分成两个等式：

下面让我们画出关于

的计算图，其中

：

当我们按照上图从左到右进行计算时（前向传播），可以得到

。

现在让我们回到反向传播阶段。我们计算梯度从右往左，因此最后，我们可以得到关于我们的输入

的梯度：

。 在从右往左进行计算时，在乘积门，我们可以得到

， 在加和门我们可以得到

。

我们希望获得

，但是目前我们只获得了

，那么我们达到我们的目标呢。 这里就可以使用链式法则来进行推导，通过链式法则，我们可以计算

：

那么我们可以计算得到

如下：