反向传播: 揭秘神经网络的学习机制

为了对万能近似函数的每个参数求偏导，我们需要使用反向传播作为方法。

所谓反向传播，与之相对的就是正向传播。神经网络执行是从前到后的，这是正向传播，而为神经网络的各个节点求导，则需要从最后一个输出节点向前推导，因为顺序是从后往前的，所以成为反向传播。

我们先看一个例子。

神经网络图

我们有如上的神经网络，一共有 1~7 个节点，其中 1 号是输入节点，7 号是输出节点，而 2~6 号就是中间的隐藏层中的所谓隐藏节点。

在训练时，除了 1 号输入节点的值来自于 Training data 外，其余 2~7 号节点的值都来自于计算，计算公式都是上图所示的这个。

举例来说，对于 2、4 号节点来说，具体的计算公式如下：

首先 x1 代表节点 1 的值，x2 就代表节点 2 的值。然后我们可以发现，所有节点计算用到的参数，都存储在当前节点上，而上一个节点仅提供其节点值。

接下来我们看看如何计算各节点参数针对计算结果的偏导数。

计算输出节点参数的偏导数

对于复杂的神经网络，计算导数肯定是比较复杂的，所以为了便于理解，我们先拿最好理解的输出节点 7 举例。

为了方便计算，我们假设节点 4、5、6、7 的值分别为 4、5、6、7。假设训练资料的期望输出是 10，但我们拿到的实际输出却是 7。

接下来我们要计算的是参数 b c w4to7 w5to7 w6to7 针对 loss function 的偏导。

乍一看，没有明显的头绪，我们先从 loss 函数定义开始思考。

假设 loss function 采用均方差的逻辑，那么其函数定义如下：

• x 表示输出节点实际输出的值。

• t 表示 training，即训练资料的预期输出值。

因为 t 作为训练资料的预期输出，无论如何训练值都不变，因此作为函数的一个已知值。而神经网络的输出 x 才是变量。

那么 loss 函数针对 x 的求导公式如下：

在本次例子中，x=7，t=10，所以 dloss/dx 的值为 -6。也就是说，我们可以认为，根据实际输出值与训练资料的预期输出值，dloss/dx 可以很容易计算出来，成为一个已知的值。

然后我们看 x 是什么？x 就是节点 7 的输出值，它来自于函数：

我们可以根据 f(x) 对该函数内任何变量求偏导。那么根据 链式法则，我们就可以逐个击破了。首先是 dloss/db:

由于 dloss/dx=-6，我们继续观察 dx/db 怎么计算。

首先我们把这个复合的 f(x) 函数改写成更原子的函数系列：

那么根据链式法则：

其中 dx/dg=c，而根据 simgoid 函数特性，dg/dh=g(x) * (1-g(x))，而 dh/db=1，那么三者相乘后，结果是：

dx/db = c * g(x) * (1-g(x))

注意，为了让神经网络启动，此时所有参数都会有一个随机出来的值，总之它们是有值的。假设 w4to7=1 w5to7=1 w6to7=1 c=1 b=1，而 x4=4 x5=5 x6=6，再加上 sigmoid 函数在之前我们就说过了计算公式，这样整个公式所有的值都明确了，虽然复杂了点儿，但一定能计算出结果。至此我们得到了 dr/db 的值。

最后 dloss/db = dloss/dx * dx/db，后面两个表达式的值都算了出来，至此得到了 dloss/db 的值，我们求出了输出节点 7 的参数 b 针对 loss 函数的偏导。

接下来，还有几个参数，但有了参数 b 的偏导过程，剩下的都大同小异了：

根据展开公式：

易得 dx/dc=g(b)，而 g(b) 同理所有参数都可计算，因此 dloss/dc 也求出来了。

接下来 w4to7 w5to7 w6to7 计算方式都类似，我们以 w4to7 举例：

根据展开公式：

其中 dx/dg=c，而根据 simgoid 函数特性，dg/dh=g(x7) * (1-g(x7))，而 dh/dw4to7=x4，那么三者相乘后，结果是：

dx/dw4to7 = c * g(x7) * (1-g(x7)) * x4

其实与求参数 b 的偏导相比，这里只不过结果多乘了 x4 的值，因此从工程角度来看，前置计算 c * g(x7) * (1-g(x7)) 可以缓存下来，方便后续计算复用。

其他节点的参数偏导

在输出节点的偏导计算中，我们抓住了 loss function 定义，根据其公式的偏导，以及函数表达式结合链式法则，总算得到了各参数的偏导，但再往神经网络深处反向传播时，应该怎么办呢？

其实还是用链式法则。以节点 4 举例：

要求节点 4 的参数 b 针对 loss function 的导数 dloss/db4，我们可以写成：

其中 dx4/db4 计算逻辑与上一节一样：

dx4/db4 = c4 * g(x4) * (1-g(x4))

对该节点其他参数的求导同理。所以最重要的是 dloss/dr4 怎么计算，如果我们求出了它，那么最终节点的 loss function 对节点 4 任意参数的偏导我们就都可以推导出来了。

还是根据链式法则：

其中 dloss/dx7 在前面已经算出来了等于 -6，我们只要关注 dx7/dx4 怎么算。

由于 x7 指的是节点 7 实际输出的值，x4 指的是节点 4 实际输出的值，而 x7 的计算公式是：

可以看到，dx7/dx4 就是对上述函数对 x4 求偏导！ 因为节点 7 是由节点 4 计算得到的，它们必须紧挨着才能用公式求导，否则就要使用链式法则继续在链条上推导。

根据拆分公式：

可以看到，只有最后一步根据 x4 求导得到的是 w4to7，因此：

dx7/dx4= c * g(x7) * (1-g(x7)) * w4to7

节点 4 的问题解决了，我们再来看节点 2。节点 2 的代表性在于，它不直接挨着输出节点，我们要理清楚它是怎么由输出节点反向推导出来的：

可以看到，节点 2 由节点 4、5、6 共同反向推导而成，因此我们使用链式法则：

以节点 4 举例，dx4/dx2 的处理方法我们刚刚说过，计算公式最后乘以的数字改成 w2to4 即可，而 dloss/dx4 我们刚刚计算过。因此对于任意节点，应用链式法则都可以求出最终 loss function 对该节点任意参数的导数。

值得注意的是，当某节点反向传播由多个节点回溯而来时，链式法则采取加法关系。

另外，从工程角度来看，对于任意一个节点 i，在计算反向传播的过程中，有几个值会反复用到：

1. 节点与节点间链式法则时，需要多次用到 dloss/dxi。

2. dx(i+j)/dxi 虽然仅用到一次，但对于节点 i，ci * g(xi) * (1-g(xi)) 在计算自身参数偏导，或者在节点与节点间链式法则时会频繁用到。

对于每个节点来说，这两个值都需要缓存下来，避免重复计算。

总结

我们总结一下，求任意节点参数对 loss 的偏导的过程。

总的来看，一共只有三种计算手法，这三种手法使用的场景和套路掌握清楚后，你就会牢牢掌握反向传播，再也不容易忘了。

• 场景 1：输出节点的值 x 对 loss function 的偏导。

• 场景 2：非输出节点的值 x 对 loss function 的偏导。

• 场景 3：已知某个节点值 x 对 loss function 的偏导后，求该节点任意参数对 loss function 的偏导。

场景 1 和 场景 2 是为了拿到任意节点值 x，对 loss function 的偏导。有了这个作为原材料后，结合场景 3，使用链式法则，就可以求出对任意节点的参数对 loss function 的偏导。

为了加深印象，我们一个一个说明，这次我们把理解拔高一个层次。

场景 1：输出节点的值 x 对 loss function 的偏导。

因为 loss function 定义的就是 loss(x)，所以该偏导值完全取决于 loss function 的设计，比如采用均方差的话：

没有其他任何因素影响了，它已经是 loss 计算的最后一步。

场景 2：非输出节点的值 x 对 loss function 的偏导。

利用场景 1 得到的结果，用链式法则一步步跳到目标节点。比如节点关系为 1 -> 2 -> 3，节点 3 是最后一个节点，此时我们已知的值是：

利用它作为跳板，比如求节点 1 的值 x1 对 loss function 的偏导：

所以重点是我们要知道如何求 dxi/dxj 的值，且已知节点 i 的下一个节点是 j。

此时我们要理解的是，神经网络中，节点 j 的值 xj 是由前面节点计算出来的，就包括了节点 i 贡献的 xi，所以根据计算公式就可以求出 dxi/dxj 的结果。

场景 3：已知某个节点值 x 对 loss function 的偏导后，求该节点任意参数对 loss function 的偏导。

此时目光锁定在这个节点内，要求的是 loss function 对该节点任意参数 z 的偏导：

依然使用链式法则，经历过场景 1、2，我们已经计算出任意节点值对 loss function 的偏导，因此用它作为跳板：

而参数 z 与该节点输出值 x 的关系，就藏在该节点的计算公式上，所以我们又回到了节点计算公式，计算该参数的偏导即可。

下一篇文章，我们将实践这些理论，写一个完整的神经网络实现，并让它运行起来！