PyTorch学习笔记2-自动微分

记得深度学习三巨头之一Yann LeCun曾经说过：“深度学习已死，可微编程永生”，就是说深度学习只是一种计算范式，而背后的可微分编程，具有更广阔的应用前景。在这里我们将探索PyTorch中的自动微分技术。

Tensor函数

PyTorch中的自动微分是基于Tensor的，以Tensor作为参数的函数，实际上是将Tensor中的每个元素应用该函数。只讲概念比较抽象，我们来看一个具体的例子。
我们定义$\mathbf{x}\in R^5$，定义如下函数：
$$y=f(\mathbf{x})=\left[\begin{array}{c}f(x_1)\\ f(x_2)\\ f(x_3)\\ f(x_4)\\ f(x_5)\end{array}\right]$$
下面的程序我们以$x^2$为例：

import torch
x = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0])
y = x ** 2
print(y)
# 输出结果为：tensor([ 1.,  4.,  9., 16., 25.])

在深度学习中，有三种最常见的情况：标量对向量的微分、向量对向量的微分、向量对矩阵的微分，其实还有张量对张量的微分，因为在实际中比较少见，所以这里就不再讨论了。

标量对向量的微分

通常神经网络的代价函数会是一个标量，对于多分类问题，神经网络的输出为一个向量，这时就需要求标量对向量的微分。我们定义如下函数：
$$y=\sum _{i=1}^5{x}_i^2$$
我们知道求微分可以采用解析法、数值法和自动微分法，由于这个问题比较简单，我们可以直接应用解析法：
$$\frac{\partial y}{\partial x_i}=2x_i,i=1,2,3,4,5$$
我们定义标量对向量的微分为：
$$\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{ccccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \frac{\partial y}{\partial x_3}& \frac{\partial y}{\partial x_4}& \frac{\partial y}{\partial x_5}\end{array}\right]\in R^{1\times n},\mathbf{x}\in R^n$$
我们可以通过PyTorch中的自动微分来完成这一任务：

x = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0], requires_grad=True, dtype=torch.float32)
y = torch.sum(x ** 2)
print(y.item()) # 打印计算值
y.backward() # 利用自动微分计算微分
print('shape:{0}; {1}'.format(x.grad.size(), x.grad)) # 打印y对x的微分值
# 打印结果：shape:torch.Size([5]); tensor([ 2.,  4.,  6.,  8., 10.])

第1行：

• 第1行：我们在定义Tensor时，如果加入requires_grad，表明我们需要求对其的微分；
• 第2行：计算函数值，在实际应用中就是神经网络的前向传播过程；
• 第4行：调用自动微分，就是实际应用中的神经网络的反向传播过程；
  我们可以看到打印的结果与我们用解析法求出的内容一致。

向量对向量微分

实际上向量对向量微分叫做Jacobian矩阵，向量$\mathbf{y}\in R^m$对向量$\mathbf{x}\in R^n$的微分定义为：
$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& ...& \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& ...& \frac{\partial y_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& ...& \frac{\partial y_m}{\partial x_n}\end{array}\right]\in R^{m\times n}$$
我们假设有如下向量，例如是神经网络某层的输入向量：
$${\mathbf{z}}^l=\left[\begin{array}{c}1.0\\ 2.0\\ 3.0\\ 4.0\\ 5.0\end{array}\right]$$
经过该层的激活函数（sigmoid函数）之后，得到本层的输出向量：
$${\mathbf{a}}^l=\left[\begin{array}{c}{z}_1^2\\ z_2^2\\ z_1^3\\ z_1^4\\ z_1^5\end{array}\right]$$
因为本神经元的输入只会影响本神经元的输出，因此我们的${\mathbf{a}}^l$如上所示。根据解析法可得其Jacobian矩阵为：
$$\frac{\partial {\mathbf{a}}^l}{\partial {\mathbf{z}}^l}=\left[\begin{array}{ccccc}\frac{\partial a_1^l}{\partial z_1^l}& 0& 0& 0& 0\\ 0& \frac{\partial a_2^l}{\partial z_2^l}& 0& 0& 0\\ 0& 0& \frac{\partial a_3^l}{\partial z_3^l}& 0& 0\\ 0& 0& 0& \frac{\partial a_3^l}{\partial z_3^l}& 0\\ 0& 0& 0& 0& \frac{\partial a_3^l}{\partial z_3^l}\end{array}\right]$$
其实际上只有对角线上有值，因此在PyTorch中，为了更高效的处理问题，我们通常不需要原始的Jacobian矩阵，而是将其乘以一个与${\mathbf{a}}^l$同维且元素均为1的向量，得到的结果向量的元素为对角线上的元素。
$$\frac{\partial {\mathbf{a}}^l}{\partial {\mathbf{z}}^l}\cdot \left[\begin{array}{c}1.0\\ 1.0\\ 1.0\\ 1.0\\ 1.0\end{array}\right]=\left[\begin{array}{ccccc}\frac{\partial a_1^l}{\partial z_1^l}& 0& 0& 0& 0\\ 0& \frac{\partial a_2^l}{\partial z_2^l}& 0& 0& 0\\ 0& 0& \frac{\partial a_3^l}{\partial z_3^l}& 0& 0\\ 0& 0& 0& \frac{\partial a_3^l}{\partial z_3^l}& 0\\ 0& 0& 0& 0& \frac{\partial a_3^l}{\partial z_3^l}\end{array}\right]\cdot \left[\begin{array}{c}1.0\\ 1.0\\ 1.0\\ 1.0\\ 1.0\end{array}\right]=\cdot \left[\begin{array}{c}\frac{\partial a_1^l}{\partial z_1^l}\\ \frac{\partial a_2^l}{\partial z_2^l}\\ \frac{\partial a_2^l}{\partial z_3^l}\\ \frac{\partial a_4^l}{\partial z_4^l}\\ \frac{\partial a_5^l}{\partial z_5^l}\end{array}\right]$$
在PyTorch中代码如下所示：

    x = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0], requires_grad=True)
    y = x**2
    y.backward(torch.ones_like(y))
    print('y_x:{0}'.format(x.grad))
    # 输出：y_x:tensor([ 2.,  4.,  6.,  8., 10.])

向量对矩阵求微分

在深度学习中，经常会出现上一层的输入向量${\mathbf{z}}^l\in R^{N_l}$对连接权值$W^l\in R^{N_l\times N_{l-1}}$的微分，公式为：
$${\mathbf{z}}^l=W^l\cdot {\mathbf{a}}^{l-1}+{\mathbf{b}}^l$$
其中${\mathbf{a}}^{l-1}\in R^{N_{l-1}}$，${\mathbf{b}}^l\in R^{N_l}$。
通过解析法，我们可以得到其微分公式为：
$$\frac{\partial {\mathbf{z}}^l}{\partial W^l}=\left[\begin{array}{cccc}{a}_1^{l-1}& a_2^{l-1}& ...& a_{l-1}^{l-1}\\ a_1^{l-1}& a_2^{l-1}& ...& a_{l-1}^{l-1}\\ ...& ...& ...& ...\\ a_1^{l-1}& a_2^{l-1}& ...& a_{l-1}^{l-1}\end{array}\right]=\left[\begin{array}{c}({\mathbf{a}}^{l-1}{)}^T\\ ({\mathbf{a}}^{l-1}{)}^T\\ ...\\ ({\mathbf{a}}^{l-1}{)}^T\end{array}\right]\in R^{N_l\times N_{l-1}}$$
PyTorch代码如下所示：

    a_l_1 = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0], requires_grad=True)
    W_l = torch.tensor([
        [101.0, 102.0, 103.0, 104.0, 105.0],
        [201.0, 202.0, 203.0, 204.0, 205.0],
        [301.0, 302.0, 303.0, 304.0, 305.0]
    ], requires_grad=True)
    b_l = torch.tensor([1001.0, 1002.0, 1003.0], requires_grad=True)
    z_l = torch.matmul(W_l, a_l_1) + b_l
    z_l.backward(torch.ones_like(z_l))
    print('y_x:{0}'.format(W_l.grad))
    ''' 打印输出
    y_x:tensor([[1., 2., 3., 4., 5.],
        [1., 2., 3., 4., 5.],
        [1., 2., 3., 4., 5.]])
    '''

上述程序的打印结果与理论分析的结果一致，证明我们的求法是正确的。