深度学习数学基础

数学基础

本文总结了深度学习中涉及的有关线性代数、微分和概率的基础知识。

线性代数

下面分别概括了向量、矩阵、运算、范数、特征向量和特征值的概念。

向量

本文中的向量指的是列向量。一个$n$维向量$\mathbf{x}$的表达式可写成

$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],$$

其中$x_1,\dots ,x_n$是向量的元素。我们将各元素均为实数的$n$维向量$\mathbf{x}$记作$\mathbf{x}\in {\mathbb{R}}^n$或$\mathbf{x}\in {\mathbb{R}}^{n\times 1}$。

矩阵

一个$m$行$n$列矩阵的表达式可写成

$$\mathbf{X}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right],$$

其中$x_{ij}$是矩阵$\mathbf{X}$中第$i$行第$j$列的元素（$1\le i\le m,1\le j\le n$）。我们将各元素均为实数的$m$行$n$列矩阵$\mathbf{X}$记作$\mathbf{X}\in {\mathbb{R}}^{m\times n}$。不难发现，向量是特殊的矩阵。

运算

设$n$维向量$\mathbf{a}$中的元素为$a_1,\dots ,a_n$，$n$维向量$\mathbf{b}$中的元素为$b_1,\dots ,b_n$。向量$\mathbf{a}$与$\mathbf{b}$的点乘（内积）是一个标量：

$$\mathbf{a}\cdot \mathbf{b}=a_1{b}_1+\dots +a_n{b}_n.$$

设两个$m$行$n$列矩阵

$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \dots & a_{mn}\end{array}\right],\mathbf{B}=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \dots & b_{1n}\\ b_{21}& b_{22}& \dots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{m1}& b_{m2}& \dots & b_{mn}\end{array}\right].$$

矩阵$\mathbf{A}$的转置是一个$n$行$m$列矩阵，它的每一行其实是原矩阵的每一列：
$${\mathbf{A}}^{\top }=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \dots & a_{m1}\\ a_{12}& a_{22}& \dots & a_{m2}\\ ⋮& ⋮& \ddots & ⋮\\ a_{1n}& a_{2n}& \dots & a_{mn}\end{array}\right].$$

两个相同形状的矩阵的加法是将两个矩阵按元素做加法：

$$\mathbf{A}+\mathbf{B}=\left[\begin{array}{cccc}{a}_{11}+b_{11}& a_{12}+b_{12}& \dots & a_{1n}+b_{1n}\\ a_{21}+b_{21}& a_{22}+b_{22}& \dots & a_{2n}+b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}+b_{m1}& a_{m2}+b_{m2}& \dots & a_{mn}+b_{mn}\end{array}\right].$$

我们使用符号$\odot$表示两个矩阵按元素做乘法的运算：

$$\mathbf{A}\odot \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \dots & a_{1n}{b}_{1n}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \dots & a_{2n}{b}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}& \dots & a_{mn}{b}_{mn}\end{array}\right].$$

定义一个标量$k$。标量与矩阵的乘法也是按元素做乘法的运算：

$$k\mathbf{A}=\left[\begin{array}{cccc}k{a}_{11}& k{a}_{12}& \dots & k{a}_{1n}\\ k{a}_{21}& k{a}_{22}& \dots & k{a}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ k{a}_{m1}& k{a}_{m2}& \dots & k{a}_{mn}\end{array}\right].$$

其他诸如标量与矩阵按元素相加、相除等运算与上式中的相乘运算类似。矩阵按元素开根号、取对数等运算也就是对矩阵每个元素开根号、取对数等，并得到和原矩阵形状相同的矩阵。

矩阵乘法和按元素的乘法不同。设$\mathbf{A}$为$m$行$p$列的矩阵，$\mathbf{B}$为$p$行$n$列的矩阵。两个矩阵相乘的结果

$$\mathbf{A}\mathbf{B}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1p}\\ a_{21}& a_{22}& \dots & a_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ a_{i1}& a_{i2}& \dots & a_{ip}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \dots & a_{mp}\end{array}\right]\left[\begin{array}{cccccc}{b}_{11}& b_{12}& \dots & b_{1j}& \dots & b_{1n}\\ b_{21}& b_{22}& \dots & b_{2j}& \dots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮\\ b_{p1}& b_{p2}& \dots & b_{pj}& \dots & b_{pn}\end{array}\right]$$

是一个$m$行$n$列的矩阵，其中第$i$行第$j$列（$1\le i\le m,1\le j\le n$）的元素为

$$a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\dots +a_{ip}{b}_{pj}=\sum _{k=1}^p{a}_{ik}{b}_{kj}.$$

范数

设$n$维向量$\mathbf{x}$中的元素为$x_1,\dots ,x_n$。向量$\mathbf{x}$的$L_p$范数为

$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{1/p}.$$

例如，$\mathbf{x}$的$L_1$范数是该向量元素绝对值之和：

$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n\left|x_i\right|.$$

而$\mathbf{x}$的$L_2$范数是该向量元素平方和的平方根：

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2}.$$

我们通常用$\Vert \mathbf{x}\Vert$指代$\Vert \mathbf{x}{\Vert }_2$。

设$\mathbf{X}$是一个$m$行$n$列矩阵。矩阵$\mathbf{X}$的Frobenius范数为该矩阵元素平方和的平方根：

$$\Vert \mathbf{X}{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{x}_{ij}^2},$$

其中$x_{ij}$为矩阵$\mathbf{X}$在第$i$行第$j$列的元素。

特征向量和特征值

对于一个$n$行$n$列的矩阵$\mathbf{A}$，假设有标量$\lambda$和非零的$n$维向量$\mathbf{v}$使

$$\mathbf{A}\mathbf{v}=\lambda \mathbf{v},$$

那么$\mathbf{v}$是矩阵$\mathbf{A}$的一个特征向量，标量$\lambda$是$\mathbf{v}$对应的特征值。

微分

我们在这里简要介绍微分的一些基本概念和演算。

导数和微分

假设函数$f:\mathbb{R}\to \mathbb{R}$的输入和输出都是标量。函数$f$的导数

$$f^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h},$$

且假定该极限存在。给定$y=f(x)$，其中$x$和$y$分别是函数$f$的自变量和因变量。以下有关导数和微分的表达式等价：

$$f^{\prime }(x)=y^{\prime }=\frac{\text{d}y}{\text{d}x}=\frac{\text{d}f}{\text{d}x}=\frac{\text{d}}{\text{d}x}f(x)=\text{D}f(x)={\text{D}}_{x}f(x),$$

其中符号$\text{D}$和$\text{d}/\text{d}x$也叫微分运算符。常见的微分演算有$\text{D}C=0$（$C$为常数）、$\text{D}{x}^n=n{x}^{n-1}$（$n$为常数）、$\text{D}{e}^x=e^x$、$\text{D}\ln (x)=1/x$等。

如果函数$f$和$g$都可导，设$C$为常数，那么

$$\begin{array}{rl}\frac{\text{d}}{\text{d}x}[Cf(x)]& =C\frac{\text{d}}{\text{d}x}f(x),\\ \frac{\text{d}}{\text{d}x}[f(x)+g(x)]& =\frac{\text{d}}{\text{d}x}f(x)+\frac{\text{d}}{\text{d}x}g(x),\\ \frac{\text{d}}{\text{d}x}[f(x)g(x)]& =f(x)\frac{\text{d}}{\text{d}x}[g(x)]+g(x)\frac{\text{d}}{\text{d}x}[f(x)],\\ \frac{\text{d}}{\text{d}x}\left[\frac{f(x)}{g(x)}\right]& =\frac{g(x)\frac{\text{d}}{\text{d}x}[f(x)]-f(x)\frac{\text{d}}{\text{d}x}[g(x)]}{[g(x){]}^2}.\end{array}$$

如果$y=f(u)$和$u=g(x)$都是可导函数，依据链式法则，

$$\frac{\text{d}y}{\text{d}x}=\frac{\text{d}y}{\text{d}u}\frac{\text{d}u}{\text{d}x}.$$

泰勒展开

函数$f$的泰勒展开式是

$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(a)}{n!}(x-a{)}^n,$$

其中$f^{(n)}$为函数$f$的$n$阶导数（求$n$次导数），$n!$为$n$的阶乘。假设$ϵ$是一个足够小的数，如果将上式中$x$和$a$分别替换成$x+ϵ$和$x$，可以得到

$$f(x+ϵ)\approx f(x)+f^{\prime }(x)ϵ+\mathcal{O}({ϵ}^2).$$

由于$ϵ$足够小，上式也可以简化成

$$f(x+ϵ)\approx f(x)+f^{\prime }(x)ϵ.$$

偏导数

设$u$为一个有$n$个自变量的函数，$u=f(x_1,x_2,\dots ,x_n)$，它有关第$i$个变量$x_i$的偏导数为

$$\frac{\partial u}{\partial x_i}=\underset{h\to 0}{\lim }\frac{f(x_1,\dots ,x_{i-1},x_i+h,x_{i+1},\dots ,x_n)-f(x_1,\dots ,x_i,\dots ,x_n)}{h}.$$

以下有关偏导数的表达式等价：

$$\frac{\partial u}{\partial x_i}=\frac{\partial f}{\partial x_i}=f_{x_i}=f_i={\text{D}}_{i}f={\text{D}}_{x_i}f.$$

为了计算$\partial u/\partial x_i$，只需将$x_1,\dots ,x_{i-1},x_{i+1},\dots ,x_n$视为常数并求$u$有关$x_i$的导数。

梯度

假设函数$f:{\mathbb{R}}^n\to \mathbb{R}$的输入是一个$n$维向量$\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^{\top }$，输出是标量。函数$f(\mathbf{x})$有关$\mathbf{x}$的梯度是一个由$n$个偏导数组成的向量：

$${\nabla }_{\mathbf{x}}f(\mathbf{x})=[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_n}{]}^{\top }.$$

为表示简洁，我们有时用$\nabla f(\mathbf{x})$代替${\nabla }_{\mathbf{x}}f(\mathbf{x})$。

假设$\mathbf{x}$是一个向量，常见的梯度演算包括

$$\begin{array}{rl}{\nabla }_{\mathbf{x}}{\mathbf{A}}^{\top }\mathbf{x}& =\mathbf{A},\\ {\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}& =\mathbf{A},\\ {\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}& =(\mathbf{A}+{\mathbf{A}}^{\top })\mathbf{x},\\ {\nabla }_{\mathbf{x}}\Vert \mathbf{x}{\Vert }^2& ={\nabla }_{\mathbf{x}}{\mathbf{x}}^{\top }\mathbf{x}=2\mathbf{x}.\end{array}$$

类似地，假设$\mathbf{X}$是一个矩阵，那么
$${\nabla }_{\mathbf{X}}\Vert \mathbf{X}{\Vert }_F^2=2\mathbf{X}.$$

海森矩阵

假设函数$f:{\mathbb{R}}^n\to \mathbb{R}$的输入是一个$n$维向量$\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^{\top }$，输出是标量。假定函数$f$所有的二阶偏导数都存在，$f$的海森矩阵$\mathbf{H}$是一个$n$行$n$列的矩阵：

$$\mathbf{H}=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \dots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right],$$

其中二阶偏导数

$$\frac{{\partial }^{2}f}{\partial x_i\partial x_j}=\frac{\partial }{\partial x_j}\left(\frac{\partial f}{\partial x_i}\right).$$

概率

最后，我们简要介绍条件概率、期望和均匀分布。

条件概率

假设事件$A$和事件$B$的概率分别为$P(A)$和$P(B)$，两个事件同时发生的概率记作$P(A\cap B)$或$P(A,B)$。给定事件$B$，事件$A$的条件概率

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}.$$

也就是说，

$$P(A\cap B)=P(B)P(A\mid B)=P(A)P(B\mid A).$$

当满足

$$P(A\cap B)=P(A)P(B)$$

时，事件$A$和事件$B$相互独立。

期望

离散的随机变量$X$的期望（或平均值）为

$$E(X)=\sum _{x}xP(X=x).$$

均匀分布

假设随机变量$X$服从$[a,b]$上的均匀分布，即$X\sim U(a,b)$。随机变量$X$取$a$和$b$之间任意一个数的概率相等。

小结

• 本节总结了本书中涉及的有关线性代数、微分和概率的基础知识。

练习

• 求函数$f(\mathbf{x})=3x_1^2+5e^{x_2}$的梯度。