第1章 数学基础和机器学习问题（范数+矩阵迹+矩阵求导+机器学习框架）

---

俯视机器学习

---

能看透人生，却看不透数学，有什么好处！

---

第1章 数学基础和机器学习问题

1. 向量及矩阵

本课程讨论的向量默认都是列向量。向量和矩阵都只讨论实数情况。

1.1 向量内积

对向量 $x,y\in R^n$，其内积
$$<x,y>=x^{T}y=\sum _{i=1}^n{x}_i{y}_i$$

内积满足交换律，即 $x^{T}y=y^{T}x$ .

1.2 矩阵的迹

对方阵 $A\in R^{n\times n}$，其迹为对角线元素之和。
$$tr(A)=\sum _{i=1}^n{A}_{ii}$$

• 性质（假设矩阵满足相关乘法或转置规则）：

$$\begin{gathered} tr(A^T)=tr(A) \\ tr(A+B)=tr(A)+tr(B) \\ tr(AB)=tr(BA) \\ tr(ABC)=tr(BCA)=tr(CAB) \end{gathered}$$

• 方阵的迹等于其特征值之和。

1.3 矩阵内积

两个尺寸相关的矩阵的内积，定义为两矩阵逐元素相乘后的和，即
$$<A,B>=\sum _{i,j}{A}_{ij}{B}_{ij}=tr(A^{T}B)$$

2. 范数

2.1 定义

如果函数 $f:R^n\to R$ 的定义域为 $\mathrm{d}\mathrm{o}\mathrm{m}\mathrm{f}=R^n$ 而且满足以下条件，则称 $f$ 是范数：
- 非负性： 对任意的 $x\in R^n$，都有 $f(x)\le 0$，且 $f(x)=0$ 时，必有 $x=0$；
- 齐次性： 对任意的 $x\in R^n,t\in R$，都有 $f(tx)=|t|f(x)$；
- 满足三角不等式：对于任意的 $x,y\in R^n$，均有 $f(x+y)\le f(x)+f(y)$

用记号 $f(x)=\Vert x\Vert$ 表示范数。

理解：

• 范数本质上是一个函数。
• 度量向量（或矩阵）的“长度”。
• 主要探讨向量范数。

2.2 几种常见的向量范数

• $p$范数

$$\Vert x{\Vert }_p=(|x_1{|}^p+\cdots +|x_n{|}^p{)}^{1/p}$$

• 1范数

$$\Vert x{\Vert }_1=(|x_1|+\cdots +|x_n|)$$

• 2范数

$$\Vert x{\Vert }_2=(|x_1{|}^2+\cdots +|x_n{|}^2{)}^{1/2}$$

• 无穷范数

∥ x ∥ ∞ = max ⁡ { ∣ x 1 ∣ , ⋯   , ∣ x n ∣ } \Vert x\Vert_\infty = \max\{|x_1|, \cdots, |x_n|\} ∥x∥∞​=max{∣x1​∣,⋯,∣xn​∣}

• 0范数（不是范数）：向量中非零元素个数。

2.3 向量范数可视化

2.4 矩阵的Frobenius范数

矩阵 $A\in R^{m\times n}$ 的 Frobenius 范数定义为
$$\Vert A{\Vert }_F=(tr(A^{T}A){)}^{1/2}={\left(\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}^2\right)}^{1/2}$$

3. 向量和矩阵的导数

3.1 求导规则

• 向量和标量导数：
  $${\left(\frac{\partial a}{\partial \mathbf{x}}\right)}_i=\frac{\partial a}{\partial x_i}$$

• 矩阵和标量导数：
  $${\left(\frac{\partial a}{\partial \mathbf{X}}\right)}_{ij}=\frac{\partial a}{\partial X_{ij}}$$

• 一阶导数（梯度）:
  $$(\nabla f(\mathbf{x}){)}_i=\frac{\partial f(\mathbf{x})}{\partial x_i}$$

$$({\nabla }^{2}f(\mathbf{x}){)}_{ij}=\frac{{\partial }^{2}f(\mathbf{x})}{\partial x_i\partial x_j}$$

• 向量和向量导数：

  采用分子布局，即分子为列向量，分母为行向量。对分子每个元素，求导得一个行向量，最终组成一个矩阵。以 $f(x)\in R^2,x\in R^3$ 为例，两者均为列向量：

$$\frac{\partial f}{\partial x}=\frac{\partial \left[\begin{array}{c}{f}_1\\ f_2\end{array}\right]}{\partial \left[\begin{array}{c}{x}_1,x_2,x_3\end{array}\right]}=\left[\begin{array}{c}\frac{\partial f_1}{\partial x_1},\frac{\partial f_1}{\partial x_2},\frac{\partial f_1}{\partial x_3}\\ \frac{\partial f_2}{\partial x_1},\frac{\partial f_2}{\partial x_2},\frac{\partial f_2}{\partial x_3}\end{array}\right]$$

看的时候，可以把分母看成一个整体。

• 复合求导

  若 $x\to y\to f$ ，其中 $x\in R^n,y\in R,f\in R$ ，则
  $$\frac{\partial f}{\partial x}=\frac{\partial f}{\partial y}\frac{\partial y}{\partial x}$$

3.2 例子1

• $f(x)=a^{T}x=x^{T}a$, $\nabla f(x)=a$
• $f=tr(A^{T}B)$, ${\nabla }_{B}f=A$, ${\nabla }_{A}f=B$
• $f=x^{T}x$
• $f=x^{T}Ax,{\nabla }_{x}f=(A+A^T)x,{\nabla }_x^{2}f=2(A+A^T)$

3.3 微分

$$\begin{gathered} \mathrm{d}(ABC)=\mathrm{d}A\cdot BC+A\cdot \mathrm{d}B\cdot C+AB\cdot \mathrm{d}C \\ \mathrm{d}tr(X)=tr(\mathrm{d}X) \end{gathered}$$

逐元素函数的微分：
$$\begin{gathered} d\sigma (x)={\sigma }^{\prime }(x)\odot dx \\ d\sigma (X)={\sigma }^{\prime }(X)\odot dX \end{gathered}$$
其中 $\sigma ,{\sigma }^{\prime }$ 为逐元素函数及对应导数，$\odot$ 代表逐元素相乘。

3.4 向量及矩阵求导

利用微分和迹求导。

• 回顾：标量对标量求导：对标量 $x\in R,f(x)\in R$，若 $df=adx$，则 $\frac{df}{dx}=a$ .

• 回顾：推广：标量对标量求导：全微分表达式 $f(x,y)=x^2+xy+y^2$， $df=2xdx+ydx+xdy+2ydy=(2x+y)dx+(x+2y)dy$，则 $\frac{\partial f}{\partial x}=(2x+y),\frac{\partial f}{\partial y}=(x+2y)$ .

• 标量对向量求导：对向量 $x\in R^n,f(x)\in R$，如果 $df=a^{T}dx$，则 $\frac{df}{dx}=a$ 。

• 推广：标量对向量求导：对向量 $x,y\in R^n,f(x),f(y)\in R$，如果 $df=a^{T}dx+b^{T}dy$，则 $\frac{\partial f}{\partial x}=a,\frac{\partial f}{\partial y}=b$ 。

• 标量对矩阵求导：对矩阵 $X,Y\in R^{m\times n},f(X),f(Y)\in R$，如果 $df=tr(A^{T}dX)+tr(B^{T}dY)$，则 $\frac{\partial f}{\partial X}=A,\frac{\partial f}{\partial Y}=B$。

• 推广：标量对矩阵求导：对矩阵 $X,Y\in R^{m\times n},f(X),f(Y)\in R$，如果 $df=tr(A^{T}dX)+tr(B^{T}dY)$，则 $\frac{\partial f}{\partial X}=A,\frac{\partial f}{\partial Y}=B$。

3.5 矩阵求导在机器学习算法中的应用

• $f(x)=\Vert Ax-b{\Vert }^2$
  $$\begin{array}{rl}f(x)& =\Vert Ax-b{\Vert }^2\\ & =(Ax-b{)}^T(Ax-b)\end{array}$$

$$\begin{gathered} df(x)=(Adx{)}^T(Ax-b)+(Ax-b{)}^{T}Adx=tr((2A^T(Ax-b){)}^{T}dx) \\ \frac{df(x)}{dx}=2A^T(Ax-b) \end{gathered}$$

• $f(A)=\Vert A{\Vert }_F^2$
  $$f(A)=\Vert A{\Vert }_F^2=tr(A^{T}A)$$

$$\begin{array}{rl}df(A)& =dtr(A^{T}A)\\ & =tr(d{A}^{T}A)+tr(A^{T}dA)\\ & =tr(A^{T}dA)+tr(A^{T}dA)\\ & =tr(2A^{T}dA)\end{array}$$
则 $\frac{df(A)}{dA}=2A$.

• $f(P)=-tr(P^{T}CP)+\nu (P^{T}P-I)$ ，其中 $P$ 为正交矩阵，$C$ 为实对称矩阵, $\nu \in R$ 为常数。
• $f(w)=\frac{1}{2}\Vert w{\Vert }^2+\lambda [y(w^{T}x+b)-1]$，其中 $y,b,\lambda \in R$ 为常数。

4. 编程基础

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import scipy.stats
import sklearn


x = np.array([1,2,3])
y = np.array([1,1,1])
A = np.random.randint(0, 9, (3,3))
B = np.random.randint(0, 9, (3,3))

np.trace(A)
np.linalg.norm(x, ord=np.inf)
np.linalg.norm(A, ord='fro')

import numpy as np
import matplotlib.pyplot as plt

# 1/2 范数绘制
x = np.linspace(-1, 1, 199) # 注意点数为奇数，否则尖点出不来
y05 = (1 - abs(x)**(1/2) )**2

plt.figure(figsize=(4,4))
plt.plot(x, y05, 'r', x, -y05, 'r')
plt.xlim([-1.2, 1.2]); plt.ylim([-1.2, 1.2])
plt.axis('square')
plt.axis('off')
plt.show()

5. 机器学习框架

准确地讲，机器学习有很多类别，其中一个主要的框架如下：

以波士顿房价预测为例，使用线性回归模型：

6. 机器学习中的最优化问题

6.1 建立数学模型

根据数据或者现实物理关系，可以建立各种各样的数学模型。

• 部分问题没有约束条件，称为无约束问题，例如：

  • 线性回归

    $$\underset{w}{\mathrm{minimize}}\Vert y-Xw{\Vert }_2^2$$

  • 岭回归
    $$\underset{w}{\mathrm{minimize}}\Vert y-Xw{\Vert }_2^2+\lambda \Vert w{\Vert }_2^2$$

  • LASSO算法
    $$\underset{w}{\mathrm{minimize}}\Vert y-Xw{\Vert }_2^2+\lambda \Vert w{\Vert }_1$$

  • Logistic回归

  • BP前馈神经网络

• 部分问题有等式约束或不等式约束，称为有约束问题，例如：

  • 线性判别分析（LDA）
    $$\begin{array}{rl}\underset{w}{\mathrm{minimize}}& -w^T{S}_{b}w\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& w^T{S}_{w}w=c\end{array}$$

  • 支持向量机（SVM）
    $$\begin{array}{rl}\underset{w}{\mathrm{minimize}}& \frac{1}{2}\Vert w{\Vert }^2\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& y_i(w^T{x}_i+b)\le 1,i=1,...,m\end{array}$$

  • 主成分分析（PCA）
    $$\begin{array}{rl}\underset{P}{\mathrm{minimize}}& \sum _{i=1}^m\Vert P{P}^T{x}_i-x_i{\Vert }_2^2\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& P^{T}P=I\end{array}$$

6.2 求解优化变量

机器学习的任务：

1. 高端说法：从数据中获取知识，赋予机器智慧（高端说法）。
2. 接地气说法：通过调整参数（权重），使目标损失函数最小化。

求解参数方法：

• 直接求解。对于线性回归和岭回归，可以直接求出优化变量的表达式；
• 迭代法。对于一些凸函数，直接求出优化变量表达式很困难，或者计算过于复杂，通常会采取迭代方法求解，例如 梯度下降法、牛顿法，以及后面会学习的共轭梯度法等等。

---

版权申明：本教程版权归创作人所有，未经许可，谢绝转载！

---

交流讨论QQ群：784117704

部分视频观看地址：b站搜索“火力教育”

课件下载地址：QQ群文件（有最新更新） or 百度网盘PDF课件及代码

链接：https://pan.baidu.com/s/1lc8c7yDc30KY1L_ehJAfDg
提取码：u3ls

---