数学工具--高等代数

高等代数

矩阵与线性变换

要理解线性变化，首先要给出线性空间的定义：

（线性空间）设$K$是一个数域，$V$是一个集合，在$V$上定义了一个加法"+"，使得对$V$中任意两个元素$\alpha ,\beta$，总存在$V$中唯一的元素$\gamma$满足$\gamma =\alpha +\beta$。在数域$K$与$V$间定义数乘运算，使得对$K$中任一数k及$V$中任一元素$\alpha$，总存在$V$中唯一的元素$\delta$满足：$\delta =k\alpha$。若上述加法及数乘满足：
（1）$\alpha +\beta =\beta +\alpha$
（2）$(\alpha +\beta )+\gamma =\alpha +(\beta +\gamma )$
（3）$V$中存在元素0，使得$\forall \alpha \in V$，$\alpha +0=\alpha$
（4）$\forall \alpha \in V$，存在$\beta$，使得$\alpha +\beta =0$
（5）$1\cdot \alpha =\alpha$
（6）$k(\alpha +\beta )=k\alpha +k\beta ，k\in K$
（7）$(k+l)\alpha =k\alpha +l\alpha ，k,l\in K$
（8）$k(l\alpha )=(kl)\alpha$
满足上述条件的$V$称为数域$K$上的线性空间

（线性变换）线性变换T是线性空间$V$到自身的映射，并且满足对$V$中任意$\alpha ,\beta$和数域$K$中任意k，有：
$$T(\alpha +\beta )=T(\alpha )+T(\beta )，T(k\alpha )=kT(\alpha )$$

---

特征值分解

特征值分解

对于$n\times n$的方阵$A$，如果存在$\lambda ,v\ne 0$使得满足：
$$Av=\lambda v$$
那么称$\lambda$是$A$的一个特征值，$v$是其对应的特征向量。

假设A有n个线性无关的特征向量 { v 1 , ⋯   , v n } \{v_1,\cdots,v_n\} {v1​,⋯,vn​}，对应的特征值为 { λ 1 , ⋯   , λ n } \{\lambda_1,\cdots,\lambda_n\} {λ1​,⋯,λn​}，那么A的特征分解为：
$$A=Vdiag(\lambda )V^{-1}$$
其中$V=[v_1,\cdots ,v_n]$是由特征向量拼接而成的矩阵。

每个实对称矩阵都可以分解成实特征向量和实特征值：
$$A=Q\Lambda Q^T$$
一般我们会把$Q$的这n个特征向量标准化，即满足$||q_i||=1$，那么此时$Q$的n个特征向量为标准正交基，那么$Q$就是正交阵。这里我们也可以将A看作沿各个$q_i$方向延申${\lambda }_i$倍的空间。

虽然任意实对称矩阵都有特征分解，但是特征分解可能不唯一。如果两个或多个特征向量有相同特征值，那么由这些特征向量产生的子空间中，任意一组正交的向量都是对应这些特征值的特征向量。

---

SVD分解

上述特征值分解只适用于方阵，对于行和列不同的矩阵，我们也可以做类似的分解，叫作SVD分解。假设$A$是一个$m\times n$的矩阵，那么定义它的SVD分解为：
$$A=U\Sigma V^T$$

其中$U$是一个$m\times m$的矩阵；$\Sigma$是$m\times n$的矩阵，且除了主对角线上以外元素全为零，而主对角线上的元素就称为奇异值；$V$是一个$n\times n$的矩阵。$U$和$V$都是酉矩阵，即满足$U^{T}U=I,V^{T}V=I$

那么
$$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T$$
$$A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T$$

${\Sigma }^T\Sigma$ 和 $\Sigma {\Sigma }^T$从矩阵的角度是不相同的，维数分别为$n\times n$ 和 $m\times m$，但是它们的主对角线奇异值是相等的。

因此U是$A{A}^T$的m个特征向量张成的矩阵，V是$A^{T}A$的n个特征向量张成的矩阵，奇异值$\sigma$ 是$A^{T}A$的特征值的平方根。

奇异值的减少特别快，往往前10%甚至前1%的奇异值就占了全部奇异值之和的99%以上的比例。那么我们也可以用最大的k个奇异值(k往往比n小很多)和对应的奇异向量来近似描述矩阵：

---

Moore-Penrose伪逆

---

Reference:

1. 奇异值分解(SVD)