04—《动手学深度学习——Pytorch版》—自动求导

---

前言

深度学习框架通过自动计算导数，即自动微分（automatic differentiation）来加快求导。 实际中，根据设计好的模型，系统会构建一个计算图（computational graph）， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。 自动微分使系统能够随后反向传播梯度。 这里，反向传播（backpropagate）意味着跟踪整个计算图，填充关于每个参数的偏导数。

---

链式法则

链式法则拓展到向量：

• 当y是标量，u为标量，x为向量时（标量对向量求导后为行向量）
• 当y是标量，u为向量，x为向量时（向量对向量求导后是一个矩阵）
• 当y是向量，u为向量，x为向量时（向量对向量求导后是一个矩阵）
• 详细运算规则可以看 https://editor.csdn.net/md/?articleId=136784551

下面的例子展示了如何做链式求导，这里需要注意的是<x,w>表示的是求向量x与向量w的内积，实际上是（x的转置）× w，故求导后为x的转置。

这个例子中b是一个向量，b的第二范数表示的是b的内积，是一个标量，标量对向量求导则是一个行向量，也就是b的转置。

---

自动求导

自动求导是在pytorch中内置的求导工具，通过前向传播将每一层的导数存放，反向传播将导数拿出来。

---

计算图

每一次自动求导都是在构建一次计算图。由于我们使用pytorch是隐式求导，不需要自己去构造显示求导，所以这里不做说明。

---

自动求导的两种方式

自动求导分为前向传播与方向传播，顾名思义前向传播就是通过输入，进入神经网络，一步步的进行求导，最后得到输出。反向传播就是通过输出反向逆推前一步的输入，由于前一步输入的求导已经计算过，并被存放起来，所以可以根据反向传播逐步取出所有的参数导数，进而反向推出输入。实际上在神经网络中，我们往往需要求得的是输入的值，因为输入一个什么样的值能达到最终想要的拟合效果非常困难，这也就是反向传播的重要之处。

---

自动求导实现

一个简单的例子

---

在我们计算y关于x的梯度之前，需要一个地方来存储梯度。 重要的是，我们不会在每次对一个参数求导时都分配新的内存。 因为我们经常会成千上万次地更新相同的参数，每次都分配新的内存可能很快就会将内存耗尽。 注意，一个标量函数关于向量x的梯度是向量，并且与x具有相同的形状。

---

现在计算y。

---

x是一个长度为4的向量，计算x和x的点积，得到了我们赋值给y的标量输出。 接下来，通过调用反向传播函数来自动计算y关于x每个分量的梯度，并打印这些梯度。

---

---

现在计算x的另一个函数。

---

非标量变量的反向传播

当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。 对于高阶和高维的y和x，求导的结果可以是一个高阶张量。

然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中）， 但当调用向量的反向计算时，我们通常会试图计算一批训练样本中每个组成部分的损失函数的导数。 这里，我们的目的不是计算微分矩阵，而是单独计算批量中每个样本的偏导数之和。

---

分离计算

有时，我们希望将某些计算移动到记录的计算图之外。 例如，假设y是作为x的函数计算的，而z则是作为y和x的函数计算的。 想象一下，我们想计算z关于x的梯度，但由于某种原因，希望将y视为一个常数， 并且只考虑到x在y被计算后发挥的作用。

这里可以分离y来返回一个新变量u，该变量与y具有相同的值， 但丢弃计算图中如何计算y的任何信息。 换句话说，梯度不会向后流经u到x。 因此，下面的反向传播函数计算z=u × x关于x的偏导数，同时将u作为常数处理， 而不是z=x × x × x关于x的偏导数。

---

由于记录了y的计算结果，我们可以随后在y上调用反向传播， 得到y=x × x关于的x的导数，即2 × x。

---

Python控制流的梯度计算

使用自动微分的一个好处是： 即使构建函数的计算图需要通过Python控制流（例如，条件、循环或任意函数调用），我们仍然可以计算得到的变量的梯度。 在下面的代码中，while循环的迭代次数和if语句的结果都取决于输入a的值。

让我们计算梯度。

我们现在可以分析上面定义的f函数。 请注意，它在其输入a中是分段线性的。 换言之，对于任何a，存在某个常量标量k，使得f(a)=k*a，其中k的值取决于输入a，因此可以用d/a验证梯度是否正确。

---

小结

• 深度学习框架可以自动计算导数：我们首先将梯度附加到想要对其计算偏导数的变量上，然后记录目标值的计算，执行它的反向传播函数，并访问得到的梯度。