【AI】数学基础——线代（矩阵&特征值,特征向量&矩阵分解）

【AI】数学基础——线代（向量部分）

2.3 矩阵

2.3.1 二元方程组求解与行列式

二元方程组求解 $\{\begin{array}{r}{a}_{11}{x}_1+a_{12}{x}_2=b_1\\ a_{21}{x}_1+a_{22}{x}_2=b_2\end{array}$ 高斯消元 $\Rightarrow \{\begin{array}{r}{x}_1=\frac{b_1{a}_{22}-b_2{a}_{12}}{a_{11}{a}_{22}-a_{12}{a}_{21}}=\frac{|A_1|}{|A|}\\ x_2=\frac{b_2{a}_{11}-b_1{a}_{21}}{a_{11}{a}_{22}-a_{12}{a}_{21}}=\frac{|A_2|}{|A|}\end{array}$

行列式

$Det(A)=|A|$ ，表示面积
$$\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|=\sum p_1{p}_2\cdots p_n(-1{)}^{\tau (p_1{p}_2\cdots p_n)}{a}_{1p_1}{a}_{2p_2}\cdots a_{n{p}_n}$$
如：$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=ad-bc$ ，表示平行四边形面积

直线可表示为 $y=\frac{b}{a}x⟺bx-ay=0$ ，点到直线距离为 $\frac{|bc-ad|}{\sqrt{a^2+b^2}}$ 底边长为 $\sqrt{a^2+b^2}$ ，从几何角度，平行四边形面积为 $ad-bc$

---

$|A|=\left|\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right|$ 表示平行六面体体积

2.3.2 用矩阵形式表示数据

四个角度理解矩阵

$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)=\left({\alpha }_1,{\alpha }_2\cdots ,{\alpha }_n\right)=\left(\begin{array}{r}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_n\end{array}\right)$

用于表示数据 $\{\begin{array}{rlr}& D=\left(\begin{array}{r}{X}_1\\ X_2\\ ⋮\\ X_n\end{array}\right)& n维特征\\ & X_i=(x_{i1},x_{i2},\cdots ,x_{in})& 第i个数据的n维特征值\end{array}$

矩阵由行向量 $\left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_n\end{array}\right)$ 或列向量 $\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\right)$

矩阵与行列式区别

行列式	矩阵
数字	阵列
行列数必须相等	行数$\ne$ 列数
共 $n^2$ 个元素	共 $m\times n$ 个元素
表示面积(体积)	表示变换过程

特殊矩阵

• 上三角阵

• 下三角阵

• 对角阵 $\Lambda$

• 单位阵 $I$

• $相等矩阵\subset 同型矩阵$

  相等矩阵必同型，同型矩阵未必相等

• Jacobian阵

  $F_i=\left(\begin{array}{r}\frac{\partial f_1}{\partial x_i}\\ \frac{\partial f_2}{\partial x_i}\\ ⋮\\ \frac{\partial f_m}{\partial x_i}\end{array}\right)$ ，

  $J_F=\left(F_1,F_2,\cdots ,F_n\right)=\left(\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \frac{\partial f_m}{\partial x_2}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right)=[▽f{]}_{ij}={\left[\frac{\partial f}{\partial x_j}\right]}_{ij}$

  $J_F^{\prime }=\left(F_1,F_2,\cdots ,F_n\right)=\left(\begin{array}{cccc}\frac{{\partial }^2{f}_1}{\partial x_1^2}& \frac{{\partial }^2{f}_1}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^2{f}_1}{\partial x_1\partial x_n}\\ \frac{{\partial }^2{f}_2}{\partial x_1\partial x_2}& \frac{{\partial }^2{f}_2}{\partial x_2^2}& \cdots & \frac{{\partial }^2{f}_2}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^2{f}_m}{\partial x_1\partial x_m}& \frac{{\partial }^2{f}_m}{\partial x_2\partial x_m}& \cdots & \frac{{\partial }^2{f}_m}{\partial x_m\partial x_n}\end{array}\right)=[{▽}^{2}f{]}_{ij}={\left[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}\right]}_{ij}$

2.3.3 矩阵的秩

有矩阵 $A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{s1}& a_{s2}& \cdots & a_{sn}\end{array}\right)$

用 $n$ 维行向量表示 $A=\left(\begin{array}{r}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_s\end{array}\right)$ ，${\alpha }_i=\left(a_{i1},{\alpha }_{i2},\cdots ,{\alpha }_{in}\right)$

用 $s$ 维列向量表示 $A=\left({\beta }_1,{\beta }_2,\cdots ,{\alpha }_s\right)$ ，${\beta }_i=\left(\begin{array}{r}{a}_{1i}\\ a_{2i}\\ ⋮\\ a_{si}\end{array}\right)$

矩阵的秩

行秩=列秩

$r(A)=r(行向量组)=r(列向量组)$

2.3.4 矩阵运算

有 $m\times n$ 阶矩阵，$A=(a_{ij}{)}_{m\times n}$ ，$B=(b_{ij}{)}_{m\times n}$

加减法

$A+B=\left(\begin{array}{cccc}{a}_{11}+b_{11}& a_{12}+b_{12}& \cdots & a_{1n}+b_{1n}\\ a_{21}+b_{21}& a_{22}+b_{22}& \cdots & a_{2n}+b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}+b_{n1}& a_{n2}+b_{n2}& \cdots & a_{nn}+b_{nn}\end{array}\right)$

数乘运算

$\lambda A=A\lambda =\left(\begin{array}{cccc}\lambda a_{11}& \lambda a_{12}& \cdots & \lambda a_{1n}\\ \lambda a_{21}& \lambda a_{22}& \cdots & \lambda a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ \lambda a_{n1}& \lambda a_{n2}& \cdots & \lambda a_{nn}\end{array}\right)$

矩阵乘向量

线性变换角度

1. 对向量进行线性变换

$AX$ ： 对向量X进行线性变换
$$\{\begin{array}{r}主对角线上元素非零：拉伸\\ 非对角线上元素非零：旋转\end{array}$$

---

2. 对基进行线性变换

$X=I\left(\begin{array}{r}{x}_1\\ ⋮\\ x_n\end{array}\right)=(e_1,\cdots ,e_n)\left(\begin{array}{r}{x}_1\\ ⋮\\ x_n\end{array}\right)$

$AX=A(e_1,\cdots ,e_n)\left(\begin{array}{r}{x}_1\\ ⋮\\ x_n\end{array}\right)=(A{e}_1,\cdots ,A{e}_n)\left(\begin{array}{r}{x}_1\\ ⋮\\ x_n\end{array}\right)$

相当于对基进行变换

eg

$A=\left(\begin{array}{cc}3& 2\\ 2& 3\end{array}\right)$ ，$X=\left(\begin{array}{r}2\\ 2\end{array}\right)$

$IX=(e_1,e_2)\left(\begin{array}{r}2\\ 2\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{r}2\\ 2\end{array}\right)$ ，如图

$AX=AIX=\left({ϵ}_1,{ϵ}_2\right)\left(\begin{array}{r}2\\ 2\end{array}\right)=\left(\begin{array}{cc}3& 2\\ 2& 3\end{array}\right)\left(\begin{array}{r}2\\ 2\end{array}\right)$ 如图

---

3. 矩阵的秩对变换结果影响

eg1

$X={\left(\begin{array}{r}a\\ b\end{array}\right)}_{1\times 2}$ ，旋转阵 $A=\left[\begin{array}{cc}cos\theta & sin\theta \\ -sin\theta & \cos \theta \end{array}\right]$

$A\cdot X=\left(\begin{array}{r}acos\theta +bsin\theta \\ acos\theta -bsin\theta \end{array}\right)$，表示将向量 $X$ 旋转 $\theta$ 度

假设 $\theta =\frac{3\pi }{2}$ ，旋转阵 $A=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$ ，$AX=\left(\begin{array}{c}-b\\ a\end{array}\right)$

eg2

若变换阵为 $A=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$

变换阵是二维的 $r(A)=2$ ，则对 $R^n$ 中所有点变换后也是二维的

变换阵是一维的 $r(A)=1$ ，则对 $R^n$ 中所有点变换后也是一维的

线性组合角度

从乘法运算角度， $Ax$ 的元素是向量内积

从线性组合角度理解：

$Ax$ 是 $A$ 的列的线性组合，

• $A$ 的列向量的所有线性组合生成的子空间记为 $C(A)$ ——由 $m$ 维列空间组成的秩 $r[C(A)]=r$ 的空间
• $AX=0$ 的解空间则为零空间，记为 $N(A)$ ——由 $n$ 维列向量组成的秩 $r[(N(A))]=n-r$ 的空间

同理，行向量右乘矩阵

• $A$ 的行向量的所有线性组合生成的子空间记为 $C(A^T)$ ——有 $n$ 维列向量组成的秩 $r[C(A^T)]=r$ 的空间
• $yA=0$ 的解空间是 $A$ 的左零空间，记为 $N(A^T)$ ——由 $m$ 维列向量组成的秩 $r[N(A^T)]=m-r$ 的空间

四个基本子空间中 $C(A^T)+N(A)={\mathbb{R}}^n$ ，$C(A)+N(A^T)\subset {\mathbb{R}}^m$ ，且相互垂直

矩阵乘矩阵

矩阵乘矩阵的每个元素可以理解为向量的内积

也可以理解为矩阵的线性组合（组合系数为向量），进而分割为向量的线性组合

$A_{N\times m},B_{m\times n}$ ，有 $C_{N\times n}=A\times B,c_{ij}={\sum }_{k=1}^n{a}_{ik}{b}_{kj},1\le i\le N,1\le j\le n$

eg:

三种商品 $B_1,B_2,B_3$ 单价为 $B=\left(\begin{array}{c}2.5\\ 3\\ 3.5\end{array}\right)$ ，商场对三种商品销售量分别为 $A=\left(\begin{array}{ccc}12& 8& 10\\ 14& 9& 6\end{array}\right)$ ，求每个商场营业额

$C=AB=\left(\begin{array}{ccc}12& 8& 10\\ 14& 9& 6\end{array}\right)\left(\begin{array}{c}2.5\\ 3\\ 3.5\end{array}\right)=\left(\begin{array}{c}12\times 2.5+8\times 3+10\times 3.5\\ 14\times 2.5+9\times 3+6\times 3.5\end{array}\right)=\left(\begin{array}{c}89\\ 83\end{array}\right)$

性质

• 无交换律：$AB\ne BA$
• 结合律：$(AB)C=A(BC)$
• 分配律：$A(B+C)=AB+AC$ ，$(B+C)A=BA+CA$

特殊的矩阵乘法

矩阵乘对角阵

在解决微分方程和递归方程时会出现这 $XDc$ 模式

$(1)\frac{du(t)}{dt}=Au(t),u(0)=u_0$

$(2)u_{n+1}=A{u}_n,u_0=u_0$

解这两种情况的解都可以用 $A$ 的特征值 $\left({\lambda }_1,{\lambda }_2,{\lambda }_3\right)$ ，特征向量 $X=[x_1,x_2,x_3]$ 和系数 $c=\left(\begin{array}{r}{c}_1\\ c_2\\ c_3\end{array}\right)$ 表示，其中 $c$ 是以 $X$ 为基底的初始值 $u(0)=u_0$ 的坐标

$u_0=c_1{x}_1+c_2{x}_2+c_3{x}_3=\left[x_1,x_2,x_3\right]\left(\begin{array}{r}{c}_1\\ c_2\\ c_3\end{array}\right)=Xc$

$c=\left(\begin{array}{r}{c}_1\\ c_2\\ c_3\end{array}\right)=X^{-1}{u}_0$

对于 $(1)(2)$ 的通解表示为：

$u(t)=e^{At}{u}_0=X{e}^{\Lambda t}{X}^{-1}{u}_0=X{e}^{\Lambda t}c=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$

$u_n=A^n{u}_0=X{\Lambda }^n{X}^{-1}{u}_0=X{\Lambda }^{n}c=c_1{\lambda }_1^n{x}_1+c_2{\lambda }_2^n{x}_2+c_3{\lambda }_3^n{x}_3$

转置

$A=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)$ ，$A^T=\left(\begin{array}{cc}{a}_{11}& a_{21}\\ a_{12}& a_{22}\end{array}\right)$

性质

• $(A^T{)}^T=A$
• $(A+B{)}^T=A^T+B^T$
• $(AB{)}^T=B^T{A}^T$
• $(\lambda A{)}^T=\lambda A^T$

若 $A$ 为对称阵，则 $A=A^T$ ；对角线上元素为实数

求逆

若有 $BA=AB=I$ ，则有 $A^{-1}=B,B^{-1}=A$

性质

若 $A$ 与 $B$ 可逆，则有

• $(A^{-1}{)}^{-1}=A$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$
• $(A^T{)}^{-1}=(A^{-1}{)}^T$
• $(\lambda A{)}^{-1}=\frac{1}{\lambda }{A}^{-1}$

2.4 特征值&特征向量

2.4.1 特征值&特征向量

$AX=\lambda X(X\ne 0)$ ：经变换后方向不变的向量(特征向量)，在方向上有伸缩量 $\lambda$ (特征值)

eg

$A=\left(\begin{array}{cc}1& 2\\ 0& 3\end{array}\right)$ ，$X=\left(\begin{array}{r}1\\ 1\end{array}\right)$

$AX=\left(\begin{array}{cc}1& 2\\ 0& 3\end{array}\right)\left(\begin{array}{r}1\\ 1\end{array}\right)=3\left(\begin{array}{r}1\\ 1\end{array}\right)$

2.4.2 特征空间

特征空间包含了所有特征向量

$\lambda$ 越大表示相应的特征向量越重要，在降维或压缩时尽量保存

2.5 矩阵分解

五种重要的矩阵分解

2.5.1 $A=CR$

所有的长矩阵 $A$ 都有相同的行秩和列秩。$C$ 由 $A$ 中线性无关的列组成，$R$ 为 $A$ 的行阶梯阵。即将 $A$ 化简为 $r$ 的线性无关列 $C$ 和线性无关行 $R$ 的乘积

2.5.2 $A=LU$

高低分解

通常是 $A$ 左乘一个初等行变换阵 $E$ 来得到一个上三角阵 $U$
$$\begin{gathered} EA=U \\ A=E^{-1}U \\ 令L^{-1}=E^{-1}，A=LU \end{gathered}$$

2.5.3 $A=QR$

$QR$ 分解是在保持 $C(A)=C(Q)$ 的条件下，将 $A$ 转化为正交矩阵 $Q$

在施密特正交化中，单位化的 $a_1$ 被用作 $q_1$ ，然后求出 $a_2$ 与 $q_1$ 正交所得到的 $q_2$ ，以此类推

2.5.4 特征值分解

方阵 $A$ 可相似对角化，$P^{-1}AP=\Lambda =\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)$ ，则 $P$ 中为特征向量

条件：$A$ 为 $n\times n$ 阶方阵，$A$ 有 $n$ 个线性无关的特征向量

作用：便于在 $n$ 个特征值中找到 $k$ 个较大的特根，用于代替方阵 $A$

对称阵的特征值分解

所有对称矩阵 $S$ 都必有实特征值和正交特征向量。特征值是 $\Lambda$ 的对角元素，特征向量在 $Q$ 中

一个对称阵 $S$ 通过一个正交矩阵 $Q$ 和 $Q^T$ ，对角化为 $\Lambda$ 。然后被分解为一阶投影矩阵 $P=q{q}^T$ 的组合，就是谱定理

2.5.5 SVD

故筛选出 $k$ 个比较大的特征值， SVD分解为选出所有正奇值

λ ( A H A ) = { λ 1 , λ 2 , ⋯   , λ n } \lambda(A^HA)=\{\lambda_1,\lambda_2,\cdots,\lambda_n\} λ(AHA)={λ1​,λ2​,⋯,λn​} 中 ${\lambda }_1,\cdots ,{\lambda }_k>0$ ，故取 $s_1^{+}=\sqrt{{\lambda }_1},s_2^{+}=\sqrt{{\lambda }_2},\cdots ,s_k^{+}\sqrt{{\lambda }_k}$ 为正奇值代替代替矩阵 $A$