在深度学习中,我们“训练”模型,不断更新它们,使它们在看到越来越多的数据时变得越来越好。
通常情况下,变得更好意味着最小化一个 损失函数(loss function),
即一个衡量“我们的模型有多糟糕”这个问题的分数。
最终,我们真正关心的是生成一个模型,它能够在从未见过的数据上表现良好。
但“训练”模型只能将模型与我们实际能看到的数据相拟合。
因此,我们可以将拟合模型的任务分解为两个关键问题:
- 优化(optimization):用模型拟合观测数据的过程;
- 泛化(generalization):数学原理和实践者的智慧,能够指导我们生成出有效性超出用于训练的数据集本身的模型。
为了帮助你在后面的章节中更好地理解优化问题和方法,
本节提供了一个非常简短的入门教程,帮你快速掌握深度学习中常用的微分知识。
1.导数和微分
我们首先讨论导数的计算,这是几乎所有深度学习优化算法的关键步骤。
在深度学习中,我们通常选择对于模型参数可微的损失函数。
简而言之,对于每个参数,
如果我们把这个参数增加或减少一个无穷小的量,我们可以知道损失会以多快的速度增加或减少,
假设我们有一个函数
f
:
R
n
→
R
f: \mathbb{R}^n \rightarrow \mathbb{R}
f:Rn→R,其输入和输出都是标量。
(如果
f
f
f的导数存在,这个极限被定义为)
( f ′ ( x ) = lim h → 0 f ( x + h ) − f ( x ) h . f'(x) = \lim_{h \rightarrow 0} \frac{f(x+h) - f(x)}{h}. f′(x)=h→0limhf(x+h)−f(x).)
如果
f
′
(
a
)
f'(a)
f′(a)存在,则称
f
f
f在
a
a
a处是可微(differentiable)的。
如果
f
f
f在一个区间内的每个数上都是可微的,则此函数在此区间中是可微的。
我们可以将导数
f
′
(
x
)
f'(x)
f′(x)解释为
f
(
x
)
f(x)
f(x)相对于
x
x
x的瞬时(instantaneous)变化率。
所谓的瞬时变化率是基于
x
x
x中的变化
h
h
h,且
h
h
h接近
0
0
0。
1.1导数实例
为了更好地解释导数,让我们做一个实验。
1.1.1定义一个函数
(定义 u = f ( x ) = 3 x 2 − 4 x u=f(x)=3x^2-4x u=f(x)=3x2−4x)如下:
%matplotlib inline
import numpy as np
from IPython import display
import matplotlib.pyplot as plt
def f(x):
return 3 * x ** 2 - 4 * x
[通过令
x
=
1
x=1
x=1并让
h
h
h接近
0
0
0,],则(
f
(
x
+
h
)
−
f
(
x
)
h
\frac{f(x+h)-f(x)}{h}
hf(x+h)−f(x)的数值结果接近
2
2
2)。
虽然这个实验不是一个数学证明,但我们稍后会看到,当
x
=
1
x=1
x=1时,导数
u
′
u'
u′是
2
2
2。
1.1.2函数导数的代码实现
#求解导数
def numerical_lim(f, x, h):
return (f(x + h) - f(x)) / h
#计算h不同时的导数值
h = 0.1
for i in range(5):
print(f'h={h:.5f}, numerical limit={numerical_lim(f, 1, h):.5f}')
h *= 0.1
h=0.10000, numerical limit=2.30000
h=0.01000, numerical limit=2.03000
h=0.00100, numerical limit=2.00300
h=0.00010, numerical limit=2.00030
h=0.00001, numerical limit=2.00003
让我们熟悉一下导数的几个等价符号。
给定
y
=
f
(
x
)
y=f(x)
y=f(x),其中
x
x
x和
y
y
y分别是函数
f
f
f的自变量和因变量。以下表达式是等价的:
f ′ ( x ) = y ′ = d y d x = d f d x = d d x f ( x ) = D f ( x ) = D x f ( x ) , f'(x) = y' = \frac{dy}{dx} = \frac{df}{dx} = \frac{d}{dx} f(x) = Df(x) = D_x f(x), f′(x)=y′=dxdy=dxdf=dxdf(x)=Df(x)=Dxf(x),
其中符号
d
d
x
\frac{d}{dx}
dxd和
D
D
D是微分运算符,表示微分操作。
我们可以使用以下规则来对常见函数求微分:
- D C = 0 DC = 0 DC=0( C C C是一个常数)
- D x n = n x n − 1 Dx^n = nx^{n-1} Dxn=nxn−1(幂律(power rule), n n n是任意实数)
- D e x = e x De^x = e^x Dex=ex
- D ln ( x ) = 1 / x D\ln(x) = 1/x Dln(x)=1/x
为了微分一个由一些常见函数组成的函数,下面的一些法则方便使用。
假设函数
f
f
f和
g
g
g都是可微的,
C
C
C是一个常数,则:
常数相乘法则
d
d
x
[
C
f
(
x
)
]
=
C
d
d
x
f
(
x
)
,
\frac{d}{dx} [Cf(x)] = C \frac{d}{dx} f(x),
dxd[Cf(x)]=Cdxdf(x),
加法法则
d d x [ f ( x ) + g ( x ) ] = d d x f ( x ) + d d x g ( x ) , \frac{d}{dx} [f(x) + g(x)] = \frac{d}{dx} f(x) + \frac{d}{dx} g(x), dxd[f(x)+g(x)]=dxdf(x)+dxdg(x),
乘法法则
d d x [ f ( x ) g ( x ) ] = f ( x ) d d x [ g ( x ) ] + g ( x ) d d x [ f ( x ) ] , \frac{d}{dx} [f(x)g(x)] = f(x) \frac{d}{dx} [g(x)] + g(x) \frac{d}{dx} [f(x)], dxd[f(x)g(x)]=f(x)dxd[g(x)]+g(x)dxd[f(x)],
除法法则
d d x [ f ( x ) g ( x ) ] = g ( x ) d d x [ f ( x ) ] − f ( x ) d d x [ g ( x ) ] [ g ( x ) ] 2 . \frac{d}{dx} \left[\frac{f(x)}{g(x)}\right] = \frac{g(x) \frac{d}{dx} [f(x)] - f(x) \frac{d}{dx} [g(x)]}{[g(x)]^2}. dxd[g(x)f(x)]=[g(x)]2g(x)dxd[f(x)]−f(x)dxd[g(x)].
现在我们可以应用上述几个法则来计算
u
′
=
f
′
(
x
)
=
3
d
d
x
x
2
−
4
d
d
x
x
=
6
x
−
4
u'=f'(x)=3\frac{d}{dx}x^2-4\frac{d}{dx}x=6x-4
u′=f′(x)=3dxdx2−4dxdx=6x−4。
令
x
=
1
x=1
x=1,我们有
u
′
=
2
u'=2
u′=2:在这个实验中,数值结果接近
2
2
2,
这一点得到了我们在本节前面的实验的支持。
当
x
=
1
x=1
x=1时,此导数也是曲线
u
=
f
(
x
)
u=f(x)
u=f(x)切线的斜率。
1.1.3编写可视化函数
[为了对导数的这种解释进行可视化,我们将使用matplotlib
],
这是一个Python中流行的绘图库。
要配置matplotlib
生成图形的属性,我们需要(定义几个函数)。
在下面,use_svg_display
函数指定matplotlib
软件包输出svg图表以获得更清晰的图像。
def use_svg_display():
"""使用svg格式在Jupyter中显示绘图。"""
display.set_matplotlib_formats('svg')
我们定义set_figsize
函数来设置图表大小。
def set_figsize(figsize=(3.5, 2.5)):
"""设置matplotlib的图表大小。"""
use_svg_display()
plt.rcParams['figure.figsize'] = figsize
下面的set_axes
函数用于设置由matplotlib
生成图表的轴的属性。
def set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend):
"""设置matplotlib的轴。"""
axes.set_xlabel(xlabel)
axes.set_ylabel(ylabel)
axes.set_xscale(xscale)
axes.set_yscale(yscale)
axes.set_xlim(xlim)
axes.set_ylim(ylim)
if legend:
axes.legend(legend)
axes.grid()
通过这三个用于图形配置的函数,我们定义了plot
函数来简洁地绘制多条曲线。
## 自己定义的plot函数(相当于是自己造轮子)
#@save
def plot(X, Y=None, xlabel=None, ylabel=None, legend=None, xlim=None,
ylim=None, xscale='linear', yscale='linear',
fmts=('-', 'm--', 'g-.', 'r:'), figsize=(3.5, 2.5), axes=None):
"""绘制数据点。"""
if legend is None:
legend = []
set_figsize(figsize)
axes = axes if axes else plt.gca()
# 如果 `X` 有一个轴,输出True
def has_one_axis(X):
return (hasattr(X, "ndim") and X.ndim == 1 or isinstance(X, list)
and not hasattr(X[0], "__len__"))
if has_one_axis(X):
X = [X]
if Y is None:
X, Y = [[]] * len(X), X
elif has_one_axis(Y):
Y = [Y]
if len(X) != len(Y):
X = X * len(Y)
axes.cla()
for x, y, fmt in zip(X, Y, fmts):
if len(x):
axes.plot(x, y, fmt)
else:
axes.plot(y, fmt)
set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend)
1.1.4可视化结果
现在我们可以[绘制函数
u
=
f
(
x
)
u=f(x)
u=f(x)及其在
x
=
1
x=1
x=1处的切线
y
=
2
x
−
3
y=2x-3
y=2x−3],
其中系数
2
2
2是切线的斜率。
x = np.arange(0, 3, 0.1)
plot(x, [f(x), 2 * x - 3], 'x', 'f(x)', legend=['f(x)', 'Tangent line (x=1)'])
2.偏导数
到目前为止,我们只讨论了仅含一个变量的函数的微分。
在深度学习中,函数通常依赖于许多变量。
因此,我们需要将微分的思想推广到多元函数(multivariate function)上。
设
y
=
f
(
x
1
,
x
2
,
…
,
x
n
)
y = f(x_1, x_2, \ldots, x_n)
y=f(x1,x2,…,xn)是一个具有
n
n
n个变量的函数。
y
y
y关于第
i
i
i个参数
x
i
x_i
xi的偏导数(partial derivative)为:
∂ y ∂ x i = lim h → 0 f ( x 1 , … , x i − 1 , x i + h , x i + 1 , … , x n ) − f ( x 1 , … , x i , … , x n ) h . \frac{\partial y}{\partial x_i} = \lim_{h \rightarrow 0} \frac{f(x_1, \ldots, x_{i-1}, x_i+h, x_{i+1}, \ldots, x_n) - f(x_1, \ldots, x_i, \ldots, x_n)}{h}. ∂xi∂y=h→0limhf(x1,…,xi−1,xi+h,xi+1,…,xn)−f(x1,…,xi,…,xn).
为了计算
∂
y
∂
x
i
\frac{\partial y}{\partial x_i}
∂xi∂y,
我们可以简单地将
x
1
,
…
,
x
i
−
1
,
x
i
+
1
,
…
,
x
n
x_1, \ldots, x_{i-1}, x_{i+1}, \ldots, x_n
x1,…,xi−1,xi+1,…,xn看作常数,
并计算
y
y
y关于
x
i
x_i
xi的导数。
对于偏导数的表示,以下是等价的:
∂ y ∂ x i = ∂ f ∂ x i = f x i = f i = D i f = D x i f . \frac{\partial y}{\partial x_i} = \frac{\partial f}{\partial x_i} = f_{x_i} = f_i = D_i f = D_{x_i} f. ∂xi∂y=∂xi∂f=fxi=fi=Dif=Dxif.
3.梯度
我们可以连结一个多元函数对其所有变量的偏导数,以得到该函数的梯度(gradient)向量。
具体而言,设函数
f
:
R
n
→
R
f:\mathbb{R}^n\rightarrow\mathbb{R}
f:Rn→R的输入是
一个
n
n
n维向量
x
=
[
x
1
,
x
2
,
…
,
x
n
]
⊤
\mathbf{x}=[x_1,x_2,\ldots,x_n]^\top
x=[x1,x2,…,xn]⊤,并且输出是一个标量。
函数
f
(
x
)
f(\mathbf{x})
f(x)相对于
x
\mathbf{x}
x的梯度是一个包含
n
n
n个偏导数的向量:
∇ x f ( x ) = [ ∂ f ( x ) ∂ x 1 , ∂ f ( x ) ∂ x 2 , … , ∂ f ( x ) ∂ x n ] ⊤ , \nabla_{\mathbf{x}} f(\mathbf{x}) = \bigg[\frac{\partial f(\mathbf{x})}{\partial x_1}, \frac{\partial f(\mathbf{x})}{\partial x_2}, \ldots, \frac{\partial f(\mathbf{x})}{\partial x_n}\bigg]^\top, ∇xf(x)=[∂x1∂f(x),∂x2∂f(x),…,∂xn∂f(x)]⊤,
其中 ∇ x f ( x ) \nabla_{\mathbf{x}} f(\mathbf{x}) ∇xf(x)通常在没有歧义时被 ∇ f ( x ) \nabla f(\mathbf{x}) ∇f(x)取代。
假设 x \mathbf{x} x为 n n n维向量,在微分多元函数时经常使用以下规则:
- 对于所有 A ∈ R m × n \mathbf{A} \in \mathbb{R}^{m \times n} A∈Rm×n,都有 ∇ x A x = A ⊤ \nabla_{\mathbf{x}} \mathbf{A} \mathbf{x} = \mathbf{A}^\top ∇xAx=A⊤
- 对于所有 A ∈ R n × m \mathbf{A} \in \mathbb{R}^{n \times m} A∈Rn×m,都有 ∇ x x ⊤ A = A \nabla_{\mathbf{x}} \mathbf{x}^\top \mathbf{A} = \mathbf{A} ∇xx⊤A=A
- 对于所有 A ∈ R n × n \mathbf{A} \in \mathbb{R}^{n \times n} A∈Rn×n,都有 ∇ x x ⊤ A x = ( A + A ⊤ ) x \nabla_{\mathbf{x}} \mathbf{x}^\top \mathbf{A} \mathbf{x} = (\mathbf{A} + \mathbf{A}^\top)\mathbf{x} ∇xx⊤Ax=(A+A⊤)x
- ∇ x ∥ x ∥ 2 = ∇ x x ⊤ x = 2 x \nabla_{\mathbf{x}} \|\mathbf{x} \|^2 = \nabla_{\mathbf{x}} \mathbf{x}^\top \mathbf{x} = 2\mathbf{x} ∇x∥x∥2=∇xx⊤x=2x
同样,对于任何矩阵
X
\mathbf{X}
X,都有
∇
X
∥
X
∥
F
2
=
2
X
\nabla_{\mathbf{X}} \|\mathbf{X} \|_F^2 = 2\mathbf{X}
∇X∥X∥F2=2X。
正如我们之后将看到的,梯度对于设计深度学习中的优化算法有很大用处。
4.小结
- 微分和积分是微积分的两个分支,前者可以应用于深度学习中的优化问题。
- 导数可以被解释为函数相对于其变量的瞬时变化率,它也是函数曲线的切线的斜率。
- 梯度是一个向量,其分量是多变量函数相对于其所有变量的偏导数。
5.练习
- 绘制函数 y = f ( x ) = x 3 − 1 x y = f(x) = x^3 - \frac{1}{x} y=f(x)=x3−x1和其在 x = 1 x = 1 x=1处切线的图像。
def f1(x):
return x ** 3 - 1 / x
x = np.arange(0.1, 3, 0.1)
plot(x, [f1(x), 4 * x - 4], 'x', 'f(x)', legend=['f(x)', 'Tangent line (x=1)'])
6.导数的拓展(矩阵计算)