深度学习数学基础：微积分核心概念解析

深度学习数学基础：微积分核心概念解析

d2l-en d2l-ai/d2l-en: 是一个基于 Python 的深度学习教程，它使用了 SQLite 数据库存储数据。适合用于学习深度学习，特别是对于需要使用 Python 和 SQLite 数据库的场景。特点是深度学习教程、Python、SQLite 数据库。 项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en

微积分是深度学习的数学基础之一，理解微积分的基本概念对于掌握深度学习至关重要。本文将系统性地介绍微积分在深度学习中的核心应用，包括导数、偏导数、梯度以及链式法则等关键概念。

微积分的历史与意义

微积分的起源可以追溯到古希腊时期，阿基米德通过内接多边形的方法计算圆的面积（如图1所示）。这种极限过程构成了微分和积分的基础。在深度学习中，微分告诉我们如何通过调整函数的参数来改变函数值，这对优化问题至关重要。

导数与微分

导数的定义

导数描述的是函数在某一点处的瞬时变化率。对于标量函数f: ℝ → ℝ，在点x处的导数定义为：

$$f'(x) = \lim_{h \rightarrow 0} \frac{f(x+h) - f(x)}{h}$$

当导数存在时，我们说函数在该点可微。在深度学习中，我们经常需要计算损失函数关于参数的导数，以优化模型性能。

导数计算示例

考虑函数u = f(x) = 3x² - 4x，我们可以计算其在x=1处的导数：

def f(x):
    return 3 * x ** 2 - 4 * x

# 数值验证导数
for h in [0.1, 0.01, 0.001, 0.0001]:
    print(f'h={h:.5f}, 数值极限={(f(1+h)-f(1))/h:.5f}')

输出结果会显示当h趋近于0时，比值趋近于2，验证了f'(1)=2。

常用导数规则

1. 常数规则：$\frac{d}{dx}C = 0$
2. 幂函数规则：$\frac{d}{dx}x^n = nx^{n-1}$
3. 指数函数规则：$\frac{d}{dx}e^x = e^x$
4. 对数函数规则：$\frac{d}{dx}\ln x = x^{-1}$

还有以下组合规则：

• 常数倍规则
• 加法规则
• 乘法规则
• 除法规则

偏导数与梯度

偏导数的概念

对于多变量函数y = f(x₁, x₂, ..., xₙ)，偏导数∂y/∂xᵢ表示固定其他变量时，函数沿xᵢ方向的变化率。

梯度的定义

梯度是所有偏导数组成的向量，表示函数在某点处增长最快的方向：

$$\nabla_{\mathbf{x}} f(\mathbf{x}) = \left[\frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n}\right]^\top$$

重要梯度公式

1. $\nabla_{\mathbf{x}} \mathbf{Ax} = \mathbf{A}^\top$
2. $\nabla_{\mathbf{x}} \mathbf{x}^\top \mathbf{A} = \mathbf{A}$
3. $\nabla_{\mathbf{x}} |\mathbf{x}|^2 = 2\mathbf{x}$

链式法则

链式法则用于计算复合函数的导数。对于单变量函数y = f(g(x))，链式法则为：

$$\frac{dy}{dx} = \frac{dy}{du}\frac{du}{dx}$$

对于多变量情况，梯度计算涉及矩阵乘法：

$$\nabla_{\mathbf{x}} y = \mathbf{A} \nabla_{\mathbf{u}} y$$

其中A包含u对x的导数。链式法则在反向传播算法中起着核心作用。

可视化工具

我们可以使用matplotlib来可视化函数及其导数：

def plot_function_and_tangent():
    x = np.arange(0, 3, 0.1)
    plot(x, [f(x), 2*x-3], 'x', 'f(x)', 
         legend=['f(x)', '切线(x=1)'])

这个工具可以帮助我们直观理解函数在某点的导数就是该点切线的斜率。

微积分在深度学习中的应用

1. 优化：梯度告诉我们如何调整参数以最小化损失函数
2. 反向传播：通过链式法则高效计算深层网络的梯度
3. 模型训练：每次参数更新都依赖于梯度计算

理解这些微积分概念是掌握深度学习算法的关键基础。后续章节将更深入地探讨如何将这些数学工具应用于实际的深度学习模型中。

d2l-en d2l-ai/d2l-en: 是一个基于 Python 的深度学习教程，它使用了 SQLite 数据库存储数据。适合用于学习深度学习，特别是对于需要使用 Python 和 SQLite 数据库的场景。特点是深度学习教程、Python、SQLite 数据库。 项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en