chapter_preliminaries-calculus

微积分

🏷sec_calculus
参考动手学深度学习教材对应章节：https://zh-v2.d2l.ai/
根据课程相关章节的Jupyter文件进行运行得到结果并导出。

在2500年前，古希腊人把一个多边形分成三角形，并把它们的面积相加，才找到计算多边形面积的方法。
为了求出曲线形状（比如圆）的面积，古希腊人在这样的形状上刻内接多边形。
如 :numref:fig_circle_area所示，内接多边形的等长边越多，就越接近圆。
这个过程也被称为逼近法（method of exhaustion）。

🏷fig_circle_area

事实上，逼近法就是积分（integral calculus）的起源，
我们将在 :numref:sec_integral_calculus中详细描述。
2000多年后，微积分的另一支，微分（differential calculus）被发明出来。
在微分学最重要的应用是优化问题，即考虑如何把事情做到最好.
正如在 :numref:subsec_norms_and_objectives中讨论的那样，
这种问题在深度学习中是无处不在的。

在深度学习中，我们“训练”模型，不断更新它们，使它们在看到越来越多的数据时变得越来越好。
通常情况下，变得更好意味着最小化一个损失函数（loss function），
即一个衡量“我们的模型有多糟糕”这个问题的分数。
最终，我们真正关心的是生成一个模型，它能够在从未见过的数据上表现良好。
但“训练”模型只能将模型与我们实际能看到的数据相拟合。
因此，我们可以将拟合模型的任务分解为两个关键问题：

• 优化（optimization）：用模型拟合观测数据的过程；
• 泛化（generalization）：数学原理和实践者的智慧，能够指导我们生成出有效性超出用于训练的数据集本身的模型。

为了帮助你在后面的章节中更好地理解优化问题和方法，
本节提供了一个非常简短的入门教程，帮你快速掌握深度学习中常用的微分知识。

导数和微分

我们首先讨论导数的计算，这是几乎所有深度学习优化算法的关键步骤。
在深度学习中，我们通常选择对于模型参数可微的损失函数。
简而言之，对于每个参数，
如果我们把这个参数增加或减少一个无穷小的量，我们可以知道损失会以多快的速度增加或减少，

假设我们有一个函数$f:{\mathbb{R}}^n\to \mathbb{R}$，其输入和输出都是标量。
(如果$f$的导数存在，这个极限被定义为)

($$f^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}.$$)
:eqlabel:eq_derivative

如果$f^{\prime }(a)$存在，则称$f$在$a$处是可微（differentiable）的。
如果$f$在一个区间内的每个数上都是可微的，则此函数在此区间中是可微的。
我们可以将 :eqref:eq_derivative中的导数$f^{\prime }(x)$解释为$f(x)$相对于$x$的瞬时（instantaneous）变化率。
所谓的瞬时变化率是基于$x$中的变化$h$，且$h$接近$0$。

为了更好地解释导数，让我们做一个实验。
(定义$u=f(x)=3x^2-4x$)如下：

%matplotlib inline
import numpy as np
from IPython import display
from d2l import torch as d2l


def f(x):
    return 3 * x ** 2 - 4 * x

[通过令$x=1$并让$h$接近$0$，] :eqref:eq_derivative中($\frac{f(x+h)-f(x)}{h}$的数值结果接近$2$)。
虽然这个实验不是一个数学证明，但我们稍后会看到，当$x=1$时，导数$u^{\prime }$是$2$。

def numerical_lim(f, x, h):
    return (f(x + h) - f(x)) / h

h = 0.1
for i in range(5):
    print(f'h={h:.5f}, numerical limit={numerical_lim(f, 1, h):.5f}')
    h *= 0.1

h=0.10000, numerical limit=2.30000
h=0.01000, numerical limit=2.03000
h=0.00100, numerical limit=2.00300
h=0.00010, numerical limit=2.00030
h=0.00001, numerical limit=2.00003

让我们熟悉一下导数的几个等价符号。
给定$y=f(x)$，其中$x$和$y$分别是函数$f$的自变量和因变量。以下表达式是等价的：

$$f^{\prime }(x)=y^{\prime }=\frac{dy}{dx}=\frac{df}{dx}=\frac{d}{dx}f(x)=Df(x)=D_{x}f(x),$$

其中符号$\frac{d}{dx}$和$D$是微分运算符，表示微分操作。
我们可以使用以下规则来对常见函数求微分：

• $DC=0$（$C$是一个常数）
• $D{x}^n=n{x}^{n-1}$（幂律（power rule），$n$是任意实数）
• $D{e}^x=e^x$
• $D\ln (x)=1/x$

为了微分一个由一些常见函数组成的函数，下面的一些法则方便使用。
假设函数$f$和$g$都是可微的，$C$是一个常数，则：

常数相乘法则
$$\frac{d}{dx}[Cf(x)]=C\frac{d}{dx}f(x),$$

加法法则

$$\frac{d}{dx}[f(x)+g(x)]=\frac{d}{dx}f(x)+\frac{d}{dx}g(x),$$

乘法法则

$$\frac{d}{dx}[f(x)g(x)]=f(x)\frac{d}{dx}[g(x)]+g(x)\frac{d}{dx}[f(x)],$$

除法法则

$$\frac{d}{dx}\left[\frac{f(x)}{g(x)}\right]=\frac{g(x)\frac{d}{dx}[f(x)]-f(x)\frac{d}{dx}[g(x)]}{[g(x){]}^2}.$$

现在我们可以应用上述几个法则来计算$u^{\prime }=f^{\prime }(x)=3\frac{d}{dx}{x}^2-4\frac{d}{dx}x=6x-4$。
令$x=1$，我们有$u^{\prime }=2$：在这个实验中，数值结果接近$2$，
这一点得到了我们在本节前面的实验的支持。
当$x=1$时，此导数也是曲线$u=f(x)$切线的斜率。

[为了对导数的这种解释进行可视化，我们将使用matplotlib]，
这是一个Python中流行的绘图库。
要配置matplotlib生成图形的属性，我们需要(定义几个函数)。
在下面，use_svg_display函数指定matplotlib软件包输出svg图表以获得更清晰的图像。

注意，注释#@save是一个特殊的标记，会将对应的函数、类或语句保存在d2l包中。
因此，以后无须重新定义就可以直接调用它们（例如，d2l.use_svg_display()）。

def use_svg_display():  #@save
    """使用svg格式在Jupyter中显示绘图"""
    display.set_matplotlib_formats('svg')

我们定义set_figsize函数来设置图表大小。
注意，这里我们直接使用d2l.plt，因为导入语句
from matplotlib import pyplot as plt已标记为保存到d2l包中。

def set_figsize(figsize=(3.5, 2.5)):  #@save
    """设置matplotlib的图表大小"""
    use_svg_display()
    d2l.plt.rcParams['figure.figsize'] = figsize

下面的set_axes函数用于设置由matplotlib生成图表的轴的属性。

#@save
def set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend):
    """设置matplotlib的轴"""
    axes.set_xlabel(xlabel)
    axes.set_ylabel(ylabel)
    axes.set_xscale(xscale)
    axes.set_yscale(yscale)
    axes.set_xlim(xlim)
    axes.set_ylim(ylim)
    if legend:
        axes.legend(legend)
    axes.grid() # Axes.grid()函数用于配置网格线

通过这三个用于图形配置的函数，我们定义了plot函数来简洁地绘制多条曲线，
因为我们需要在整个书中可视化许多曲线。

#@save
# https://finthon.com/category/data-processing/matplotlib/
def plot(X, Y=None, xlabel=None, ylabel=None, legend=None, xlim=None,
         ylim=None, xscale='linear', yscale='linear',
         fmts=('-', 'm--', 'g-.', 'r:'), figsize=(3.5, 2.5), axes=None):
    """绘制数据点"""
    if legend is None:
        legend = []
    set_figsize(figsize) # 设置画板大小
    axes = axes if axes else d2l.plt.gca() # plt.gcf()当前图表、plt.gca()获取子图，分别表示Get Current Figure和Get Current Axes

    # 如果X有一个轴，输出True,用来判断是否为一个轴
    def has_one_axis(X):
        return (hasattr(X, "ndim") and X.ndim == 1 or isinstance(X, list)
                and not hasattr(X[0], "__len__"))

    # hasattr(x, "ndim"）：hasattr()函数用于判断是否包含对应的属性 ,ndim表示维度的个数 
    # hasattr(X[0], "__len__"):用来判断x列表中的第一个元素是否有长度属性，也就是判断是否为数据
    
    if has_one_axis(X):
        X = [X]  # 将数组数据类型转变为列表数据类型
    
    if Y is None:
        X, Y = [[]] * len(X), X # 默认情况下，赋值给X, Y
    elif has_one_axis(Y):
        Y = [Y]  # 将数组数据类型转变为列表数据类型
    if len(X) != len(Y):
        X = X * len(Y)
    axes.cla() # axiss模块中的Axes.cla()函数用于清除当前轴
    for x, y, fmt in zip(X, Y, fmts):
        if len(x):
            axes.plot(x, y, fmt) #  axes.plot用于绘制XY坐标系的点、线或其他标记形状
        else:
            axes.plot(y, fmt)
    set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend) # 设置axes模块的属性

现在我们可以[绘制函数$u=f(x)$及其在$x=1$处的切线$y=2x-3$]，
其中系数$2$是切线的斜率。

x = np.arange(0, 3, 0.1)
plot(x, [f(x), 2 * x - 3], 'x', 'f(x)', legend=['f(x)', 'Tangent line (x=1)'])
x, [f(x), 2 * x - 3]

C:\Users\Administrator\AppData\Local\Temp\ipykernel_42036\1575940066.py:3: DeprecationWarning: `set_matplotlib_formats` is deprecated since IPython 7.23, directly use `matplotlib_inline.backend_inline.set_matplotlib_formats()`
  display.set_matplotlib_formats('svg')





(array([0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1. , 1.1, 1.2,
        1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2. , 2.1, 2.2, 2.3, 2.4, 2.5,
        2.6, 2.7, 2.8, 2.9]),
 [array([ 0.  , -0.37, -0.68, -0.93, -1.12, -1.25, -1.32, -1.33, -1.28,
         -1.17, -1.  , -0.77, -0.48, -0.13,  0.28,  0.75,  1.28,  1.87,
          2.52,  3.23,  4.  ,  4.83,  5.72,  6.67,  7.68,  8.75,  9.88,
         11.07, 12.32, 13.63]),
  array([-3. , -2.8, -2.6, -2.4, -2.2, -2. , -1.8, -1.6, -1.4, -1.2, -1. ,
         -0.8, -0.6, -0.4, -0.2,  0. ,  0.2,  0.4,  0.6,  0.8,  1. ,  1.2,
          1.4,  1.6,  1.8,  2. ,  2.2,  2.4,  2.6,  2.8])])

x, type(x), f(x), type(f(x)), 2 * x + 3,  # x, f(x), 2*x + 3: 函数输入、函数输出、函数导数
(hasattr(x, "ndim") and x.ndim == 1 or isinstance(x, list)
                and not hasattr(x[0], "__len__"))

x, [x],type([x]), x[0],x[1],hasattr(x[0], "__len__")
x2, y2 = [[]] * len(x), x
Y = [[f(x), 2 * x - 3]]
x = [x]
for x,y in zip([([0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1. , 1.1, 1.2,
       1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2. , 2.1, 2.2, 2.3, 2.4, 2.5,
       2.6, 2.7, 2.8, 2.9]), ([0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1. , 1.1, 1.2,
       1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2. , 2.1, 2.2, 2.3, 2.4, 2.5,
       2.6, 2.7, 2.8, 2.9])],[([ 0.  , -0.37, -0.68, -0.93, -1.12, -1.25, -1.32, -1.33, -1.28,
       -1.17, -1.  , -0.77, -0.48, -0.13,  0.28,  0.75,  1.28,  1.87,
        2.52,  3.23,  4.  ,  4.83,  5.72,  6.67,  7.68,  8.75,  9.88,
       11.07, 12.32, 13.63]), ([-3. , -2.8, -2.6, -2.4, -2.2, -2. , -1.8, -1.6, -1.4, -1.2, -1. ,
       -0.8, -0.6, -0.4, -0.2,  0. ,  0.2,  0.4,  0.6,  0.8,  1. ,  1.2,
        1.4,  1.6,  1.8,  2. ,  2.2,  2.4,  2.6,  2.8])]):
    print(x,y)  # 进行分组

[0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0, 2.1, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9] [0.0, -0.37, -0.68, -0.93, -1.12, -1.25, -1.32, -1.33, -1.28, -1.17, -1.0, -0.77, -0.48, -0.13, 0.28, 0.75, 1.28, 1.87, 2.52, 3.23, 4.0, 4.83, 5.72, 6.67, 7.68, 8.75, 9.88, 11.07, 12.32, 13.63]
[0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0, 2.1, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9] [-3.0, -2.8, -2.6, -2.4, -2.2, -2.0, -1.8, -1.6, -1.4, -1.2, -1.0, -0.8, -0.6, -0.4, -0.2, 0.0, 0.2, 0.4, 0.6, 0.8, 1.0, 1.2, 1.4, 1.6, 1.8, 2.0, 2.2, 2.4, 2.6, 2.8]

偏导数

到目前为止，我们只讨论了仅含一个变量的函数的微分。
在深度学习中，函数通常依赖于许多变量。
因此，我们需要将微分的思想推广到多元函数（multivariate function）上。

设$y=f(x_1,x_2,\dots ,x_n)$是一个具有$n$个变量的函数。
$y$关于第$i$个参数$x_i$的偏导数（partial derivative）为：

$$\frac{\partial y}{\partial x_i}=\underset{h\to 0}{\lim }\frac{f(x_1,\dots ,x_{i-1},x_i+h,x_{i+1},\dots ,x_n)-f(x_1,\dots ,x_i,\dots ,x_n)}{h}.$$

为了计算$\frac{\partial y}{\partial x_i}$，
我们可以简单地将$x_1,\dots ,x_{i-1},x_{i+1},\dots ,x_n$看作常数，
并计算$y$关于$x_i$的导数。
对于偏导数的表示，以下是等价的：

$$\frac{\partial y}{\partial x_i}=\frac{\partial f}{\partial x_i}=f_{x_i}=f_i=D_{i}f=D_{x_i}f.$$

梯度

🏷subsec_calculus-grad

我们可以连结一个多元函数对其所有变量的偏导数，以得到该函数的梯度（gradient）向量。
具体而言，设函数$f:{\mathbb{R}}^n\to \mathbb{R}$的输入是
一个$n$维向量$\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^{\top }$，并且输出是一个标量。
函数$f(\mathbf{x})$相对于$\mathbf{x}$的梯度是一个包含$n$个偏导数的向量:

$${\nabla }_{\mathbf{x}}f(\mathbf{x})=[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_n}{]}^{\top },$$

其中${\nabla }_{\mathbf{x}}f(\mathbf{x})$通常在没有歧义时被$\nabla f(\mathbf{x})$取代。

假设$\mathbf{x}$为$n$维向量，在微分多元函数时经常使用以下规则:

• 对于所有$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，都有${\nabla }_{\mathbf{x}}\mathbf{A}\mathbf{x}={\mathbf{A}}^{\top }$
• 对于所有$\mathbf{A}\in {\mathbb{R}}^{n\times m}$，都有${\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}=\mathbf{A}$
• 对于所有$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，都有${\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}=(\mathbf{A}+{\mathbf{A}}^{\top })\mathbf{x}$
• ${\nabla }_{\mathbf{x}}\Vert \mathbf{x}{\Vert }^2={\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{x}=2\mathbf{x}$

同样，对于任何矩阵$\mathbf{X}$，都有${\nabla }_{\mathbf{X}}\Vert \mathbf{X}{\Vert }_F^2=2\mathbf{X}$。
正如我们之后将看到的，梯度对于设计深度学习中的优化算法有很大用处。

链式法则

然而，上面方法可能很难找到梯度。
这是因为在深度学习中，多元函数通常是复合（composite）的，
所以我们可能没法应用上述任何规则来微分这些函数。
幸运的是，链式法则使我们能够微分复合函数。

让我们先考虑单变量函数。假设函数$y=f(u)$和$u=g(x)$都是可微的，根据链式法则：

$$\frac{dy}{dx}=\frac{dy}{du}\frac{du}{dx}.$$

现在让我们把注意力转向一个更一般的场景，即函数具有任意数量的变量的情况。
假设可微分函数$y$有变量$u_1,u_2,\dots ,u_m$，其中每个可微分函数$u_i$都有变量$x_1,x_2,\dots ,x_n$。
注意，$y$是$x_1,x_2，\dots ,x_n$的函数。
对于任意$i=1,2,\dots ,n$，链式法则给出：

$$\frac{dy}{d{x}_i}=\frac{dy}{d{u}_1}\frac{d{u}_1}{d{x}_i}+\frac{dy}{d{u}_2}\frac{d{u}_2}{d{x}_i}+\cdots +\frac{dy}{d{u}_m}\frac{d{u}_m}{d{x}_i}$$

小结

• 微分和积分是微积分的两个分支，前者可以应用于深度学习中的优化问题。
• 导数可以被解释为函数相对于其变量的瞬时变化率，它也是函数曲线的切线的斜率。
• 梯度是一个向量，其分量是多变量函数相对于其所有变量的偏导数。
• 链式法则使我们能够微分复合函数。

练习

1. 绘制函数$y=f(x)=x^3-\frac{1}{x}$和其在$x=1$处切线的图像。
2. 求函数$f(\mathbf{x})=3x_1^2+5e^{x_2}$的梯度。
3. 函数$f(\mathbf{x})=\Vert \mathbf{x}{\Vert }_2$的梯度是什么？
4. 你可以写出函数$u=f(x,y,z)$，其中$x=x(a,b)$，$y=y(a,b)$，$z=z(a,b)$的链式法则吗?

# 练习一
def f(x): # 定义函数
    return x * x * x - 1 / x

def numerical_lim(f, x, h): # 计算梯度
    return (f(x + h) - f(x)) / h

h = 0.1
for i in range(5):
    print(f'h={h:.5f},numerical limit={numerical_lim(f, 1, h)}')
    h *= 0.1

h=0.10000,numerical limit=4.219090909090913
h=0.01000,numerical limit=4.020199009900981
h=0.00100,numerical limit=4.002001999000359
h=0.00010,numerical limit=4.000200019997901
h=0.00001,numerical limit=4.000020000216596

x = np.arange(0.5, 1.5, 0.1)
plot(x, [f(x), 4*x - 4], 'x', 'f(x)', legend=['f(x)', 'Tangent line (x=1)'])

C:\Users\Administrator\AppData\Local\Temp\ipykernel_42036\1575940066.py:3: DeprecationWarning: `set_matplotlib_formats` is deprecated since IPython 7.23, directly use `matplotlib_inline.backend_inline.set_matplotlib_formats()`
  display.set_matplotlib_formats('svg')

# 练习2
# f(x)对x1求导为: 6 * x1

# f(x)对x2求导为：5 * e^(x2)

# 梯度为：[6*x1, 5*e^(x2)] 

# 练习3
# 梯度为: X/||X||2

# 练习4
# 链式法则：
# f`(a) = f`(x) * x`a + f`(y) * y`a + f`(z) * z`a
# f`(b) = f`(x) * x`b + f`(y) * y`b + f`(z) * z`b

Discussions