06 Pytorch实现反向传播

反向传播

  上一篇博客大致介绍了反向传播，但是没有提及到计算图的概念。比如下面我以一个两层的神经网络为例，它的 y_hat 表达式为：

  
  下面我们来构建它的计算图：

  
  这里需要注意的是我们现在的一个两层的神经网络的 y_hat 可以展开为：

  
  然后我们发现不断地进行线性变换，不管你有多少层最后都会统一成 $y=W\ast x+b$ 的形式，也就是如下的计算图：

  
  也就是说层数多和层数少没什么区别。为了解决这个问题，就是要提高模型的复杂度。换句话说，就是不能将 y_hat 进行化简，化简之后增加权重完全没有意义。所以我们需要对每一层最终的输出加一个非线性的变换函数，也就是对每一层输出的向量里的每一个值都应用一个非线性的函数，比如像 Sigmoid 函数。

  
  接下来就说说反向传播过程中的求导，曾经在高等数学中学过链式求导法则（Chain Rule）。也就是说要把复合函数上每一步的偏导数进行累积，最后就求出了整体的导数。

  
  下面就来看看反向传播中链式求导的过程。链式求导的第一步首先要创建计算图（如下图），第一步就是前向传播（forward），它做的事情就是沿着图中的箭头，一步一步进行计算，直到得到 Loss。

  
  那么对于输出的结果 $z$ ,首先要计算 $Loss$ 对于 $z$ 的偏导。

  
  求出 $Loss$ 对于 $z$ 的偏导之后，在经过 $f$ 的时候，我们的目标是 $Loss$ 对 $w$ 和 $x$ 的导数，那么在这个计算过程中我们就使用链式法则。

  
  下面举个简单例子，比如 $f=x\ast w$，那么 $f$ 对 $x$ 的导数等于权重 $w$， $f$ 对 $w$ 的导数等于 $x$，比如 $x=2$，$w=3$，那么就可以计算出 $z=f=x\ast w=2\ast 3=6$ ，最后可以通过 $z$ 计算出相应的 Loss，这就是前向传播的过程。
  
  如果我们通过前向传播得到了 $L$ 对 $z$ 的导数为 5，那么我们想要求出 $L$ 对 $x$ 和 $w$ 的 导数，就先得求出 $z$ 对 $x$ 和 $w$ 的 导数，通过链式法则求出 $L$ 对 $x$ 和 $w$ 的 导数。

  
  有了这些导数之后，我们就能够做权重的更新了，以上就完成了反向传播的过程。
  
  下面我们再来看看 y_hat = $x\ast w$ 完整的计算图。

  
  在我们得到了 Loss 等于 1 之后，我们开始反向传播。首先算出 Loss 对于 $r$ 的梯度。

  
  接着计算 Loss 对于 y_hat 的梯度。
  

  
  最后算出 Loss 对 $w$ 的导数。

  
  接下来介绍一下在 Pytorch 里面怎么进行前向传播和反向传播。首先，介绍一下 Pytorch 里面数据最基本的成员是 Tensor，它是用来存储数据的，它可以存标量，向量，矩阵或者高阶的 Tensor。它里面包含两个重要成员 data 和 grad。data 用来保存权重 $w$，grad 用来保存损失函数 Loss 对权重 $w$ 的导数。

---

Pytorch实现反向传播

  下面我们具体进行编程实现前面例子中的前向传播和反向传播。
  

---

总结

  我们再来回顾一下整个计算过程：

  首先我们的 $w$ 设置一个初始值，将 $w$ 设置为需要梯度，然后就构建出整个计算图。

  
  构建出计算图之后，我们使用 backward 来反向计算 $L$ 对 $w$ 的导数，就存放在 $w.grad$ 成员里面。这里需要注意的是 grad 也是一个 Tensor，所以为了避免计算导数的时候构建计算图，需要使用 grad 中的成员 data 进行计算。

  
  以上就是参数 $w$ 相应的更新过程。

---

  具体代码见 06 Pytorch实现反向传播.ipynb