人工智能数学课高等数学线性微积分数学教程笔记

对 人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。 博客园中同步更新。

1. 数学内容概述

人工智能是应用数学，需要的数学知识包括：

• 微积分

  • 主要内容：导数与求导公式，一阶导数与函数的单调性，一元函数极值判定法则，高阶导数，二阶导数与函数的凹凸性，一元导数泰勒展开。
  • 主要用微分部分，求函数极值，即机器学习库中的求解器 (solver) 的功能；
  • 推荐书籍：高等数学（第七版，同济大学数学系），数学分析新讲(张筑生)
  • 知识点：
    • 导数与偏导数定义与计算；
    • 梯度向量；
    • 极值定理，可导函数在极值点处导数或梯度必须为0；
    • 雅克比矩阵，向量到向量映射函数的偏导数构成的矩阵，用于求导推导；
    • Hessian 矩阵，二阶导数对多元函数的推广，求函数极值；
    • 凸函数的定义与判断；
    • 泰勒展开公式，多元函数泰勒展开公式，推导出梯度下降法，牛顿法，拟牛顿法等一系列最优化方法；
    • 拉格朗日乘数法，拉格朗日对偶，求解带等式约束的极值问题。

• 线性代数

  • 主要内容：向量及其运算，矩阵及其运算，张量，行列式，二次型，特征值与特征向量。
  • 推荐书籍：工程数学线性代数(同济大学数学系)
  • 知识点：
    • 向量及其运算，包括加法，减法，数乘，转置，内积；
    • 向量和矩阵的范数，$L1$ 范数(曼哈顿距离)和 $L2$ 范数(两点间距离)；
    • 矩阵及其运算，包括加法，减法乘法和数乘；
    • 逆矩阵定义和性质；
    • 行列式定义和计算；
    • 二次型定义；
    • 矩阵正定性；
    • 矩阵的特征值 (eigenvalue) 与特征向量 (eigenvector) ；
    • 矩阵的奇异值分解 (SVD) ；
    • 线性方程组的数值解法，尤其是共轭梯度法。
  • 数据一般都是向量、矩阵或张量。

• 概率论

  • 主要内容：随机事件与概率，条件概率和贝叶斯公式，随机变量，随机变量的期望和方差，常用概率分布(正态分布，均匀分布，伯努利二项分布)，随机向量(联合概率密度函数等)，协方差和协方差矩阵，最大似然估计。
  • 将所处理的样本数据看作随机变量/向量，用概率论的观点对问题进行建模。
  • 推荐书籍：概率论与数理统计（第四版）
  • 知识点：
    • 随机事件概念，概率定义与计算；
    • 随机变量与概率分布，尤其是连续性随机变量的概率密度函数和分布函数；
    • 条件概率与贝叶斯公式；
    • 常见概率分布，正态分布，均匀分布，伯努利二项分布；
    • 随机变量的均值方差，协方差；
    • 随机变量的独立性；
    • 最大似然估计。

• 最优化

  • 推荐书籍：凸优化(作者：Stephen Boyd, Lieven Vandenberghe著 王书宁，许鋆，黄晓霖译)，非线性规划（第2版，作者：Dimitri P. Bertsekas 著 宋士吉、张玉利、贾庆山 译）
  • 凸优化问题

• 其他

  微分几何，泛函分析和识别函数，离散数学(图论)。

2. 一元函数微分学

- 导数

- 导数的定义

$f^{\prime }\left(x_0\right)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$

- 左导数、右导数和右导数

• ReLu函数 Activation Function

$\max (0,x)$

- 几何意义与物理意义

• 几何意义，切线的斜率(一元函数)
• 物理意义，瞬时速度

$f^{\prime }(t)=\underset{\Delta t\to 0}{\lim }\frac{\Delta s}{\Delta t}$

- 求导公式

- 基本函数

• $(x^a{)}^{\prime }=a{x}^{a-1}$
• $(a^x{)}^{\prime }=a^x\ln a$ ; $(e^x{)}^{\prime }=e^x$
• $(lo{g}_{a}x{)}^{\prime }=\frac{1}{\ln a}\frac{1}{x}$ ; $(\ln x{)}^{\prime }=\frac{1}{x}$
• 定义：$\underset{n\to +\infty }{\lim }(1+\frac{1}{n}{)}^n=e$ ; $\underset{x\to 0}{\lim }\frac{\sin x}{x}=1$; $\underset{n\to 0}{\lim }(1+n{)}^{\frac{1}{n}}=e$

- 四则运算法则

• $(f(x)+g(x){)}^{\prime }=f^{\prime }(x)+g^{\prime }(x)$
• $(f(x)g(x){)}^{\prime }=f^{\prime }(x)g(x)+f(x)g^{\prime }(x)$
• $(\frac{f(x)}{g(x)}{)}^{\prime }=\frac{f^{\prime }(x)g(x)-f(x)g^{\prime }(x)}{g^2(x)}$

- 复合函数求导法则

$(f(g(x)){)}^{\prime }=f^{\prime }(g)g^{\prime }(x)$ 链式求导法则

- 用途

• 求极值，backpropagation 激活函数

• sigmoid函数：$\sigma (x)=\frac{1}{1+e^{-x}}$ ; ${\sigma }^{\prime }(x)=[1-\sigma (x)]\sigma (x)$

• tanh (双曲正切)函数：$\tanh (x)=\frac{\sinh x}{\cosh x}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

  ${\tanh }^{\prime }(x)=1-{\tanh }^2(x)$

- 高阶导数

对导数再次求导：$f^{(n)}(x)$

- 导数与函数单调性关系

导数大于0，单调增；导数小于0，单调减。

- 极值定理

极值处函数的导数（若有）等于0，导数等于0处不一定是极值。

极值点是函数图像的某段子区间内上极大值或者极小值点的横坐标。极值点出现在函数的驻点（导数为0的点）或不可导点处（导函数不存在，也可以取得极值，此时驻点不存在）。

- 导数与函数凹凸性

注：中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。

国外定义中，凸函数是向下凸的（不同于我们传统意义上的"凸"）。

凹凸函数定义：

设函数 $f$ 为定义在区间 $I$ 上的函数，若对 $(a,b)$ 上任意两点 $x_1$ 、 $x_2$ ，恒有：

(1) $f(\frac{x_1+x_2}{2})>\frac{f(x_1)+f(x_2)}{2}$，则称 $f$ 为 $(a,b)$ 上的凹函数或者上凸函数或者 A 型函数；

(2) $f(\frac{x_1+x_2}{2})<\frac{f(x_1)+f(x_2)}{2}$，则称 $f$ 为 $(a,b)$ 上的凸函数或者下凸函数或者 V 型函数；

• $f^{\prime \prime }(x)>0$ 二阶导数大于0——凸 (convex) 函数；反之，凹 (concave) 函数
• $f^{\prime }(x)=0$ 驻点；
• $f^{\prime \prime }(x)=0$ ，若该曲线图形的函数在拐点(连续曲线的凹弧与凸弧的分界点)有二阶导数，则二阶导数在拐点处异号（由正变负或由负变正）或不存在。

- 一元函数泰勒展开

多项式函数来近似一个可导函数。
$$f(x)=\frac{f(x_0)}{0!}+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+...+\frac{f^n(x_0)}{n!}(x-x_0{)}^n+R_n(x)$$

$$f(x)=f(x_k)+(x-x_k)f^{\prime }(x_k)+\frac{1}{2}(x-x_k{)}^2{f}^{\prime \prime }(x_k)+o^n$$

机器学习中求极值用的，梯度下降法（保留泰勒展开一阶项），牛顿法（保留泰勒展开二阶项）。

3. 线性代数基础

- 向量

• 一维数组，几何意义是空间中的点，$n$ 维向量集合的全体构成了 $n$ 维欧式空间 $R^n$ ;

• 行向量(编程语言中把数据存为它)，列向量(数学上常用)；

• 向量运算

  • 加减：分量加减， $Error=\mathbf{y}-\hat{\mathbf{y}}$

  • 数乘：数和分量相乘，${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\alpha \mathbf{g}$

  • 向量的内积(点乘)：$X^{T}Y$

    np.dot(a,b)
    

  • 运算法则：$A+B+C=A+(B+C)$ ; $k\ast (X+Y)=kX+kY$

- 向量的范数

• 范数：${\Vert \mathbf{x}\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{\frac{1}{p}}$; $p$ 为整数，向量变成标量；
• 1 范数是绝对值加和，记为 $L1$: ${\Vert \mathbf{x}\Vert }_1=\sum _{i=1}^n\left|x_i\right|$，曼哈顿距离；
• 2 范数是向量长度，向量的模，记为 $L2$: ${\Vert \mathbf{x}\Vert }_2=\sqrt{\sum _{i=1}^n{\left(x_i\right)}^2}$，欧式距离；
• 应用：$L1$ 正则项：$\sum _{i=1}^n\left|w_i\right|$；$L2$ 正则项：$\sum _{i=1}^n{\left|w_i\right|}^2$；正则项越小，模型容错性越强，防止过拟合；

- 特殊向量

• 0 向量：np.zeros(); 全 1 向量：np.ones();
• 稀疏向量(Sparse vector)；稠密向量(Dense vector)；one-hot 编码；
• 单位向量，长度为1；

- 矩阵

• 二维数组，方阵，对称矩阵：$a_{ij}=a_{ji}$

• 单位阵：np.identity()、np.eye()

• 矩阵运算：加减、数乘、转置(a.T、a.transpose(1,0))

• 矩阵的乘法：a*b a/b(按对应位相乘除)，np.dot(a,b) 是把第一个矩阵的每一行和第二个矩阵的每一列做内积。

• $A+B+C=A+(B+C)$; $(AB)C=A(BC)$; $(A+B)C=AC+BC$; $A(B+C)=AB+AC$; $AB\ne BA$

• 转置公式：$(AB{)}^T=B^T{A}^T$

- 逆矩阵

• 假设一个矩阵 $A$ (方阵)，有 $AB=BA=I$ ， $B=A^{-1}$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$，$(A^{-1}{)}^{-1}=A$，$(A^T{)}^{-1}=(A^{-1})T$
• np.linalg.inv(A) (linear algebra)

- 行列式

• 行列式把矩阵(方阵)变成一个标量。

$$\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$

$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32}-a_{13}{a}_{22}{a}_{31}-a_{12}{a}_{21}{a}_{33}-a_{11}{a}_{23}{a}_{32}$$

• 行列式性质：$\left|AB\right|=\left|A\right|\left|B\right|$， $\left|A^{-1}\right|={\left|A\right|}^{-1}$，$\left|\alpha A\right|={\alpha }^n\left|A\right|$
• np.linalg.det(A)

4. 多元函数的微分学

- 偏导数

其他的自变量固定不动，对其中某一个变量求导数。
$$\frac{\partial f}{\partial x_i}=\underset{\Delta x_i\to 0}{\lim }\frac{f\left(x_1,...,x_i+\Delta x_i,...,x_n\right)-f\left(x_1,...,x_i,...,x_n\right)}{\Delta x_i}$$

from sympy import diff,symbols
x,y = symbols('x y')
f = x**2 + x*y - y**2
diff(f,x)
>>> 2*x + y

- 高阶偏导数

• 依次对每一个变量反复求导
• 高阶导数和求导次序无关：$\frac{{\partial }^{2}f}{\partial x\partial y}=\frac{{\partial }^{2}f}{\partial y\partial x}$;
• diff(f,x,2) = $\frac{{\partial }^{2}f}{{\partial }^{2}x}$
• diff(f,y).subs(y,2) = $\frac{\partial f}{\partial y}{|}_{y=2}$

- 梯度

$$\nabla f(\mathbf{x})={\left(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n}\right)}^T$$

- 雅克比矩阵

一阶偏导数构成的矩阵，简化求导公式。

一个函数 $f$ 把 $n$ 维向量 $\mathbf{x}$ 映射为 $k$ 维向量 $\mathbf{y}$：$\mathbf{y}=f(\mathbf{x})$
$$\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ \cdots & \cdots & \cdots & \cdots \\ \frac{\partial y_k}{\partial x_1}& \frac{\partial y_k}{\partial x_2}& \cdots & \frac{\partial y_k}{\partial x_n}\end{array}\right]$$
第 $k$ 行就是 $y_k$ 对 $x_1,x_2,\cdots ,x_n$ 求偏导。

- Hessian 矩阵

• 设有一个 $n$ 元函数：

$$\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{{\partial x_1}^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{{\partial x_2}^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ \cdots & \cdots & \cdots & \cdots \\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{{\partial x_n}^2}\end{array}\right]$$

• 它的所有元素是二阶偏导数，Hessian 矩阵是对称矩阵。

• Hessian 矩阵和函数凹凸性有密切关系。Hessian 矩阵正定，函数为凸函数，负定则为凹函数。

- 极值判别法则

• 一元函数：$f(x)$ 一阶导数等于0处有极值，当 $f(x)$ 的二阶导数大于0时是极小值，当二阶导数小于0时是极大值，参考 $x^2$。

• 多元函数的极值判别法则：看 Hessian 矩阵在 $f(\mathbf{x})$ 的二阶导数等于0处，即驻点处。

  • 若 Hessian 矩阵是正定，函数在该点有极小值；
  • 若 Hessian 矩阵是负定，函数在该点有极大值；
  • 若 Hessian 矩阵不定，则还需要看更高阶导数。

• 矩阵正定：对于任意向量 $\mathbf{x}\ne \vec{0}$ ，都有 ${\mathbf{x}}^T\mathbf{A}\mathbf{x}>0$，则是正定矩阵，如果是 $\ge$，则是半正定矩阵。

• 判断原则：

  • 矩阵特征值全部大于0；

  • 矩阵所有的顺序主子式都大于0；

  • 矩阵合同于单位阵。

5. 线性代数高级

- 二次型

• 纯二次项构成的函数，把含有 $n$ 个变量的二次齐次函数称为二次型：

$$f\left(x_1,x_2,\cdots ,x_n\right)=a_{11}{x}_1^2+a_{22}{x}_2^2+\cdots +a_{nn}{x}_n^2+2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+\cdots +2a_{n-1,n}{x}_{n-1}{x}_n$$

• 它其实是向量和矩阵相乘的结果：${\mathbf{x}}^T\mathbf{A}\mathbf{x}=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j$，$\mathbf{A}$ 即二次型矩阵。

$$\left(x_1,\cdots ,x_n\right)\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]\left(\begin{array}{c}{x}_1\\ \cdots \\ \cdots \\ x_n\end{array}\right)$$

• 机器学习中常见形式，比如是一次型：$f(\mathbf{x};\mathbf{w})={\mathbf{w}}^T\mathbf{x}+b$，或者二次型：$f(\mathbf{x};\mathbf{w})={\mathbf{x}}^T\mathbf{w}\mathbf{x}+b$。
• 回看 Hessian 矩阵：对于二次型函数，$f(\mathbf{x})={\mathbf{x}}^T\mathbf{A}\mathbf{x}$：
  • $f(\mathbf{x})>0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为正定二次型，$A$ 为正定矩阵；
  • $f(\mathbf{x})\ge 0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为半正定二次型，$A$ 为半正定矩阵；
  • $f(\mathbf{x})<0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为负定二次型，$A$ 为负定矩阵;
  • $f(\mathbf{x})\le 0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为半负定二次型，$A$ 为半负定矩阵;
  • 以上皆不是，不定。

- 特征值和特征向量

• 矩阵与向量的乘法相当于对向量做了一个线性变换，变换后不一定和原来在一条直线上。

• 设 $\mathbf{A}$ 是 $n$ 阶方阵，若存在数 $\lambda$ 和非零 $n$ 维向量 $\mathbf{x}$，使得 $\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$ 成立，则称 $\lambda$ 是矩阵 $\mathbf{A}$ 的一个特征值 (characteristic value) 或本征值 (eigenvalue)。

• $\mathbf{A}\mathbf{x}=\lambda \mathbf{x}\Rightarrow \left(\mathbf{A}-\lambda \mathbf{I}\right)\mathbf{x}=0$，有非零解的充要条件是系数行列式 $\left|\lambda \mathbf{I}-\mathbf{A}\right|=0$

• $\left|\lambda \mathbf{I}-\mathbf{A}\right|={\lambda }^n+{\alpha }_1{\lambda }^{n-1}+{\alpha }_2{\lambda }^{n-2}+\cdots +{\alpha }_{n-1}\lambda +{\alpha }_n$

• 5 次和 5 次以上代数方程没有求根公式，工程上计算矩阵特征值使用 QR 算法。

• $tr(\mathbf{A})=\sum _{i=1}^n{a}_{ii}={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=\sum _{i=1}^n{\lambda }_i$，$\prod _{i=1}^n{\lambda }_i=\left|\mathbf{A}\right|$

• np.linalg.eig(X)

- 特征值分解

• $n\times n$ 矩阵 $\mathbf{A}$ 的 $n$ 个特征值 ${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$，以及这 $n$ 个特征值所对应的特征向量 $\left(\begin{array}{cccc}{w}_1& w_2& \cdots & w_n\end{array}\right)$，那么矩阵 $\mathbf{A}$ 可以用特征分解表示：$ \boldsymbol{A}=\boldsymbol{W}\boldsymbol{\Sigma}\boldsymbol{W}^{-1}$。特征向量可被正交单位化从而使 $\mathbf{W}$ 为正交矩阵。

• 定理1：设 $\mathbf{M}$ 为 $n\times n$ 的矩阵，其特征值为 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，特征向量为 ${\mathbf{V}}_1,{\mathbf{V}}_2,\cdots ,{\mathbf{V}}_n$，形成线性无关集合，以每个特征向量为列构成矩阵 $\mathbf{A}=\left[\begin{array}{cccc}{\mathbf{V}}_1& {\mathbf{V}}_2& \cdots & {\mathbf{V}}_n\end{array}\right]$。矩阵 $\mathbf{A}$ 可以将矩阵 $\mathbf{M}$ 对角化，乘积矩阵 ${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}$ 的主对角元素是矩阵 $\mathbf{M}$ 的特征值：
  $${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}=\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right)$$
  反之，若存在可逆矩阵 $\mathbf{A}$ ，使 ${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}$ 为对角矩阵，则矩阵 $\mathbf{A}$ 的列等于矩阵 $\mathbf{M}$ 的特征向量， ${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}$ 的主对角元素为矩阵 $\mathbf{M}$ 的特征值。

• 正交矩阵 ${\mathbf{P}}^{-1}={\mathbf{P}}^T$ ，行和列相互之间是正交的。

• 特征分解 (Eigendecomposition)，又称谱分解 (Spectral decomposition)，只有可对角化矩阵才可以作特征分解。一个矩阵可以拆分成一个正交阵和对角矩阵以及正交阵的逆的乘积。

- 多元函数的泰勒展开

$$f(\mathbf{x})=f({\mathbf{x}}_k)+[\nabla f({\mathbf{x}}_k){]}^T(\mathbf{x}-{\mathbf{x}}_k)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_k{)}^{T}H({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)+{\mathbf{o}}^n$$

注：$\nabla f({\mathbf{x}}_k)$ 是梯度，$H({\mathbf{x}}_k)$ 是 Hessian 矩阵，${\mathbf{x}}^T\mathbf{A}\mathbf{x}\Rightarrow a{x}^2$ 。

- 矩阵和向量的求导公式

• $\nabla ({\mathbf{w}}^T\mathbf{x})=\mathbf{w}$
• $\nabla ({\mathbf{x}}^T\mathbf{A}\mathbf{x})=(\mathbf{A}+{\mathbf{A}}^T)\mathbf{x}$
• ${\nabla }^2({\mathbf{x}}^T\mathbf{A}\mathbf{x})=\mathbf{A}+{\mathbf{A}}^T$ 二阶导即再对 $\mathbf{x}$ 求导。

- 奇异值分解 (SVD)

• 可以应用于任意形状的矩阵，区别于谱分解；
• $\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，其中 $\mathbf{A}$ 是 $m\times n$ 的矩阵， $\mathbf{U}$, $\mathbf{V}$ 都是正交矩阵，$\mathbf{\Sigma }$ 是对角阵 $m\times n$ ；
• $\mathbf{U}$ 是 $\mathbf{A}{\mathbf{A}}^T$ 正交化特征向量构成的 $m\times m$ 矩阵，$\mathbf{V}$ 是 ${\mathbf{A}}^T\mathbf{A}$ 正交化特征向量构成的 $n\times n$ 矩阵；
• $\mathbf{\Sigma }$ 是 $m\times n$ 的矩阵，除了主对角线上的元素 (奇异值) 以外全部为0， $\mathbf{U}$, $\mathbf{V}$ 都是酉矩阵，即 ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$, ${\mathbf{V}}^T\mathbf{V}=\mathbf{I}$

- 求解奇异值分解

• $n\times n$ 方阵 ${\mathbf{A}}^T\mathbf{A}$ 求 $n$ 个特征向量：$({\mathbf{A}}^T\mathbf{A}){\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ ，将所有特征向量张成 $n\times n$ 的矩阵 $\mathbf{V}$ ，其中每个特征向量叫 $\mathbf{A}$ 的右奇异向量；

• $m\times m$ 方阵 $\mathbf{A}{\mathbf{A}}^T$ 求 $m$ 个特征向量：$(\mathbf{A}{\mathbf{A}}^T){\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$ ，将所有特征向量张成 $m\times m$ 的矩阵 $\mathbf{U}$ ，其中每个特征向量叫 $\mathbf{A}$ 的左奇异向量；

• $$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\Rightarrow \mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{V}\Rightarrow \mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }\Rightarrow \mathbf{A}{\mathbf{v}}_i={\mathbf{\sigma }}_i{\mathbf{u}}_i\Rightarrow {\mathbf{\sigma }}_i=\mathbf{A}{\mathbf{v}}_i/{\mathbf{u}}_i$$

• $${\mathbf{A}}^T\mathbf{A}=\mathbf{V}{\mathbf{\Sigma }}^2{\mathbf{V}}^T,\mathbf{A}{\mathbf{A}}^T=\mathbf{U}{\mathbf{\Sigma }}^2{\mathbf{U}}^T$$

  ${\mathbf{A}}^T\mathbf{A}$ 特征值与奇异值：${\sigma }_i=\sqrt{{\lambda }_i}$

- 奇异值分解的性质

• 奇异值矩阵中按照从大到小排列，且减少得特别快，即可以用最大的 $k$ 个奇异值和对应的左右奇异向量来近似描述矩阵：

  ${\mathbf{A}}_{m\times n}={\mathbf{U}}_{m\times m}{\mathbf{\Sigma }}_{m\times n}{\mathbf{V}}_{n\times n}^T\approx {\mathbf{U}}_{m\times k}{\mathbf{\Sigma }}_{k\times k}{\mathbf{V}}_{n\times k}^T$

  大的矩阵用三个小矩阵近似描述；

• 若 $\mathbf{\Sigma }$ 中有 $k$ 个非0值：${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_k>0$，则此时乘回去即是 $\mathbf{A}$；

- SVD 的应用

- 数据压缩

import numpy as np
u, sigma, v = np.linalg.svd(arr)
new_arr = np.mat(u[:,0:2])*np.mat(np.diag(sigma[0:2]))*np.mat(v[0:2,:])
np.rint(new_arr)

- PCA 降维

• PCA (principal components analysis) 主成分分析

• 总体方差：${\sigma }^2=\frac{\sum (X-\mu {)}^2}{N}$，样本方差：$s^2=\frac{\sum (X-\bar{X})}{n-1}$，

  $D(X)=E[(X-E(X){)}^2]=E(X^2)-[E(X){]}^2$，

  $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$， C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}

• 左奇异向量压缩行，右奇异向量压缩列，即取奇异值较大的左奇异向量或右奇异向量与原数据相乘。

- 协调过滤

• 用户推荐
• 用 SVD 分解把样本映射到低维空间

- 矩阵求逆

• 奇异值求倒数：$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\Rightarrow {\mathbf{A}}^{-1}=\mathbf{V}{\mathbf{\Sigma }}^{-1}{\mathbf{U}}^T$

6. 概率论

- 基本概念

• 用概率论建模，假设它服从某种概率分布

• 随机事件 (必然事件，不可能事件) 和随机事件概率

• 随机事件独立：$p(b|a)=p(b)$ , $p(a,b)=p(a)p(b)$, $p(a_1,\cdots ,a_n)=\prod _{i=1}^{n}p(a_i)$

• 随机变量：(1) 离散；(2) 连续，概率密度函数 $f(x)\ge 0,{\int }_{-\infty }^{+\infty }f(x)dx=1$

  $F(y)=p(x\le y)={\int }_{-\infty }^{y}f(x)dx,{\int }_{x_1}^{x_2}f(x)dx=F(x_2)-F(x_1)$

- 条件概率和贝叶斯公式

• 对于两个随机事件 $a$ 和 $b$ ，在 $a$ 发生的情况下 $b$ 发生的概率为 $p(b|a)=\frac{p(a,b)}{p(a)}$

• 贝叶斯公式：$p(a|b)=\frac{p(a)p(b|a)}{p(b)}$，$a$ 为因，$b$ 是果，知道原因后结果发生的概率是先验概率，贝叶斯公式得到的是后验概率。

  $p(b)p(a|b)=p(a,b)=p(a)p(b|a)$

• 最大化后验概率 MAP

- 数学期望和方差

• 数学期望就是概率意义的平均值

  $E(x)=\sum x_{i}p(x_i),E(x)={\int }_{-\infty }^{+\infty }xf(x)dx$

• 方差反应数据的波动程度

  $D(x)=\sum (x_i-E(x){)}^{2}p(x_i)$

  $D(x)={\int }_{-\infty }^{+\infty }(x-E(x){)}^{2}f(x)dx$

• 有关性质

  $E(a+bX)=a+bEX$

  $VarX=E(X-\mu {)}^2=E(X^2)-(E(X){)}^2$

- 常用分布

• 正态分布：$\sigma$ 越大越矮胖
  $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

• 均匀分布：
  $$f(x)=\{\begin{array}{c}\frac{1}{b-a}a\le x\le b\\ 0x<a,x>b\end{array}$$

• 二项分布
  $$p(x=1)=p,p(x=0)=1-p$$

- 随机向量

• 随机变量推广至随机向量

• 离散型：$p(\mathbf{x}={\mathbf{x}}_i)$ 向量取值为某一向量

• 连续型：$f(\mathbf{x})\ge 0,\iiint f(\mathbf{x})d\mathbf{x}=1$，二维时：$f(x_1,x_2)\ge 0,f(x)\ge 0,{\int }_{-\infty }^{+\infty }f(x_1,x_2)d{x}_{1}d{x}_2=1$

• 随机变量的独立性：$f(x_1,x_2,\cdots ,x_n)=f(x_1)f(x_2)\cdots f(x_n)$

• 随机向量的常见分布：正态分布
  $$f(x)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\left|\Sigma \right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )},x\in {\mathbb{R}}^n$$
  $\Sigma$ 是协方差矩阵。

- 协方差

• 对于两个随机变量：
  $$\begin{gathered} cov(x_1,x_2)=E((x_1-E(x_1))(x_2-E(x_2))) \\ cov(x_1,x_2)=E(x_1{x}_2)-E(x_1)E(x_2) \end{gathered}$$

• 协方差矩阵
  $$\left[\begin{array}{cccc}{x}_1{x}_1& x_1{x}_2& \cdots & x_1{x}_n\\ x_2{x}_1& \ddots & \cdots & x_2{x}_n\\ ⋮& ⋮& \ddots & ⋮\\ x_n{x}_1& \cdots & \cdots & x_n{x}_n\end{array}\right]$$

- 最大似然估计

• 最大似然估计(maximum likelihood estimation, MLE)，估计参数；
• 总似然：$L(\theta )=\prod _{i=1}^{l}p(x_i;\theta )$
• 对数总似然：$\ln L(\theta )=\ln \prod _{i=1}^{l}p(x_i;\theta )=\sum _{i=1}^l\ln p(x_i;\theta )$
• $\max \sum _{i=1}^l\ln p(x_i;\theta )$，对 $\theta$ 求导让它对于0

7. 最优化

- 基本概念

• 求 $f(x)$ 的极大值或极小值，$x$ 是优化变量，就是自变量，$f(x)$ 是目标函数，可能带有约束条件，满足约束并在定义域内的集合叫可行域；
  $$\begin{gathered} \max f(x)\iff \min f(x) \\ {g}_i(x)=0,i=1,\cdots ,m \\ {h}_j(x)\le 0j=1,\cdots ,n \end{gathered}$$

• 局部极小值：任意在 $x_0$ 的领域存在，$f(x)\ge f(x_0),\forall x\in \delta (x_0)$

• 通过大量实践发现在高维度的优化问题中，局部极小值 (local minimum)和全局极小值没有太大的区别，甚至有时候有更好的泛化能力。

• 为什么要迭代求解？(求导困难，求根困难)，(初始值，逼近)

- 梯度下降法

$${\mathbf{x}}_{k+1}={\mathbf{x}}_k-\gamma \nabla f({\mathbf{x}}_k)$$

推导：

1. 利用多元函数的泰勒展开公式：$f(\mathbf{x})-f({\mathbf{x}}_0)\approx [\nabla f({\mathbf{x}}_0){]}^T(\mathbf{x}-{\mathbf{x}}_0)$
2. $X^{T}Y=|X|\cdot |Y|\cdot \cos \theta$，$\cos \theta =-1$ 下降幅度最大
3. 为了使得下降幅度最大，向量 $\mathbf{x}-{\mathbf{x}}_0$ (不一定是单位向量) 的方向和梯度方向相反：$\mathbf{v}=-\frac{\nabla f({\mathbf{x}}_0)}{\Vert \nabla f({\mathbf{x}}_0)\Vert }$
4. $\mathbf{x}={\mathbf{x}}_0-\eta \frac{\nabla f({\mathbf{x}}_0)}{\Vert \nabla f({\mathbf{x}}_0)\Vert }$，分母是标量可并入 $\eta$，即 $\mathbf{x}={\mathbf{x}}_0-\eta \nabla f({\mathbf{x}}_0)$

$\eta$ 是步长，不能太大，否则不满足约等于条件。

- 牛顿法

$${\mathbf{x}}_{k+1}=\mathbf{x}-{\mathbf{H}}_k^{-1}{\mathbf{g}}_k$$

思想：找梯度为0的点。

推导：

1. 多元函数的泰勒展开公式展开二次以上的项
   $$f(\mathbf{x})=f({\mathbf{x}}_0)+[\nabla f({\mathbf{x}}_0){]}^T(\mathbf{x}-{\mathbf{x}}_0)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_0{)}^{T}H({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)+\mathbf{o}(\mathbf{x}-{\mathbf{x}}_0)$$
   取近似
   $$f(\mathbf{x})\approx f({\mathbf{x}}_0)+[\nabla f({\mathbf{x}}_0){]}^T(\mathbf{x}-{\mathbf{x}}_0)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_0{)}^{T}H({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)$$

2. 由于 $({\mathbf{w}}^T\mathbf{x}{)}^{\prime }=\mathbf{w}$，$({\mathbf{x}}^T\mathbf{A}\mathbf{x}{)}^{\prime }=(\mathbf{A}+{\mathbf{A}}^T)\mathbf{x}$，故有：
   $$\nabla f(\mathbf{x})\approx \nabla f({\mathbf{x}}_0)+H({\mathbf{x}}_0)(\mathbf{x}-{\mathbf{x}}_0)=\mathbf{g}+\mathbf{H}(\mathbf{x}-{\mathbf{x}}_0)$$

3. 令 $\nabla f(\mathbf{x})=0$，如果 Hessian 矩阵可逆，则有
   $$\begin{gathered} \mathbf{g}+\mathbf{H}(\mathbf{x}-{\mathbf{x}}_0)=0 \\ \Rightarrow \mathbf{x}-{\mathbf{x}}_0=-{\mathbf{H}}^{-1}\mathbf{g} \end{gathered}$$

对比：
$$\begin{gathered} {\mathbf{x}}_{k+1}={\mathbf{x}}_k-\eta \cdot {\mathbf{g}}_k \\ {\mathbf{x}}_{k+1}={\mathbf{x}}_k-\eta \cdot {\mathbf{H}}_k^{-1}\cdot {\mathbf{g}}_k \end{gathered}$$

• 牛顿法步长设定不好就有可能不收敛，不是迭代就一定使得函数值下降，一般用 line search 的技术，选择一些值如 $10^{-4},10^{-6}$，看哪个步长使得 $f({\mathbf{x}}_{k+1})$ 更小。

• 牛顿法收敛更快。

- 坐标下降法

• 分治 (分而治之) 法的思想：保持其他不动，只优化其中一个，优化完了之后再回来重新优化。
• 计算量小

- 数值优化算法面临的问题

• 驻点不一定是极值点
• 局部极值问题；
• 鞍点问题，如 $x^3$，在这一点 Hessian 矩阵不定，

- 凸优化问题

前面数值优化面临两个问题，对这类问题进行限定：

1. 优化变量的可行域必须是凸集；
2. 优化函数必须是个凸函数。

同时满足这两个条件的叫凸优化问题，才能说局部极小值就是全局极小值。

- 凸集

• 定义：对于一个点的集合 $C$，有属于它的两个点 $x,y$，它们两点连线中任意一点也属于该集合：$\theta x+(1-\theta )y\in C,0\le \theta \le 1$
• 典型的凸集：
  • 欧式空间 ${\mathbb{R}}^n$：$\mathbf{x},\mathbf{y}\in {\mathbb{R}}^n\Rightarrow \theta \mathbf{x}+(1-\theta )\mathbf{y}\in {\mathbb{R}}^n$；很多可行域就是欧式空间，即凸集；
  • 仿射子空间： { x ∈ R n : A x = b } \left \{ \boldsymbol{x}\in\mathbb{R}^n:\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b} \right \} {x∈Rn:Ax=b}，$\mathbf{x}$ 是 $n$ 维欧式空间的向量，满足线性方程的解；所有等式约束构成的集合是凸集，不会构建非线性等式约束；
  • 多面体： { x ∈ R n : A x ≤ b } \left \{ \boldsymbol{x}\in\mathbb{R}^n:\boldsymbol{A}\boldsymbol{x}\le\boldsymbol{b} \right \} {x∈Rn:Ax≤b}，线性不等式的解；一组线性不等式约束，也是凸集。
• 凸集的交集也是凸集 $\bigcap _{i=1}^k{C}_i$，并集不一定是凸集。

- 凸函数

• 定义：函数上任意两点它们的连线 (即割线) 上的值比对应的函数上的值要大，$f(\theta x+(1-\theta )y)<\theta f(x)+(1-\theta )f(y)$
• 凸函数的证明：
  1. 利用定义
  2. 利用一阶导数：
     • 一元函数：$f(y)\ge f(x)+f^{\prime }(x)(y-x)$
     • 多元函数：$f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})$
  3. 二阶判别法：
     • 一元函数：$f^{\prime \prime }(x)\ge 0$
     • 多元函数：Hessian 矩阵半正定，$>0$ 是严格凸函数
• 如果每个函数 $f_i(x)$ 都是凸函数，那么它们的非负线性组合 $f(x)=\sum _{i=1}^k{w}_i{f}_i(x),w_i\ge 0$ 也是凸函数。

- 凸优化的性质

目标函数是凸函数，可行域是凸集，则局部最优解一定是全局最优解。

证明：(反证法)

假设有一点 $x$ 是局部最小值，但不是全局最小值，则存在另一个点 $y$ 是全局最小值，这时 $f(y)<f(x)$。

证明 $x$ 的领域有一个点 $z$ 比 $x$ 小即可，取 $z=\theta y+(1-\theta )x,\theta =\frac{\delta }{2\Vert x-y{\Vert }_2}$ 即可。

- 凸优化一般的表述形式

$$\min f(x),x\in C$$

或者
$$\begin{gathered} \min f(x) \\ {c}_i(x)\le 0,i=1,\cdots ,m \\ {h}_j(x)=0,j=1,\cdots ,k \end{gathered}$$

- 拉格朗日乘数法

将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束；

(1) 等式约束条件
$$\begin{gathered} \min f(\mathbf{x}) \\ s.t.h_k(\mathbf{x})=0k=1,2,\cdots ,l \end{gathered}$$
求解步骤：

1. 定义拉格朗日函数：
   $$F(\mathbf{x},\mathbf{\lambda })=f(\mathbf{x})+\sum _{k=1}^l{\lambda }_k{h}_k(\mathbf{x})$$

2. 解变量的偏导方程：
   $$\frac{\partial F}{\partial x_i}=0,\cdots ,\frac{\partial F}{\partial {\lambda }_k}=0,\cdots$$

3. 或者说是分别对 $\mathbf{x}$ 和 $\mathbf{\lambda }$ 求梯度，然后解方程组
   $$\begin{gathered} {\nabla }_{x}f+\sum _{k=1}^l{\lambda }_k{\nabla }_x{h}_k=0 \\ {h}_k(\mathbf{x})=0 \end{gathered}$$

(2) 带不等式约束条件

可参考KKT条件。

- 拉格朗日对偶

$$\begin{gathered} \min f(x) \\ {g}_i(x)\le 0,i=1,\cdots ,m \\ {h}_j(x)=0,j=1,\cdots ,k \end{gathered}$$

构建一个广义 (包括不等式约束) 的拉格朗日函数：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^m{\alpha }_i{g}_i(x)+\sum _{j=1}^k{\beta }_i{h}_j(x),{\alpha }_i\ge 0$$
问题转化为：
$$p^{\ast }=\underset{x}{\min }\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=\underset{x}{\min }{\theta }_p(x)$$
理解可参考：【数学】拉格朗日对偶，从0到完全理解

无论如何，$p^{\ast }$ 都不会小于 $\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$。

- KKT 条件

$$\begin{gathered} \min f(x) \\ {g}_i(x)\le 0,i=1,\cdots ,q \\ {h}_j(x)=0,j=1,\cdots ,p \end{gathered}$$

$$L(x,\lambda ,\mu )=f(x)+\sum _{j=1}^p{\lambda }_j{h}_j(x)+\sum _{i=1}^q{\mu }_i{g}_i(x)$$

KKT 条件：
$$\begin{gathered} {\nabla }_{x}L(x^{\ast })=\nabla f(x^{\ast })+\sum _{j=1}^p{\lambda }_i^{\ast }\nabla h_j(x^{\ast })+\sum _{i=1}^q{\mu }_i^{\ast }\nabla g_i(x^{\ast })=0 \\ {\mu }_i^{\ast }\ge 0 \\ {\mu }_i^{\ast }{g}_i(x^{\ast })=0 \\ {h}_j(x^{\ast })=0 \\ {g}_i(x^{\ast })\le 0 \end{gathered}$$