深度学习需要掌握的数学知识②【线性代数-part2】

线性方程组

1．克莱姆法则

线性方程组$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$，如果系数行列式$D=\left|A\right|\ne 0$，则方程组有唯一解，$x_1=\frac{D_1}{D},x_2=\frac{D_2}{D},\cdots ,x_n=\frac{D_n}{D}$，其中$D_j$是把$D$中第$j$列元素换成方程组右端的常数列所得的行列式。

2. $n$阶矩阵$A$可逆$\iff Ax=0$只有零解。$\iff \forall b,Ax=b$总有唯一解，一般地，$r(A_{m\times n})=n\iff Ax=0$只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设$A$为$m\times n$矩阵，若$r(A_{m\times n})=m$，则对$Ax=b$而言必有$r(A)=r(A⋮b)=m$，从而$Ax=b$有解。

(2) 设$x_1,x_2,\cdots x_s$为$Ax=b$的解，则$k_1{x}_1+k_2{x}_2\cdots +k_s{x}_s$当$k_1+k_2+\cdots +k_s=1$时仍为$Ax=b$的解；但当$k_1+k_2+\cdots +k_s=0$时，则为$Ax=0$的解。特别$\frac{x_1+x_2}{2}$为$Ax=b$的解；$2x_3-(x_1+x_2)$为$Ax=0$的解。

(3) 非齐次线性方程组$Ax=b$无解$\iff r(A)+1=r(\overline{A})\iff b$不能由$A$的列向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$线性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组$Ax=0$恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此$Ax=0$的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是$n-r(A)$，解空间的一组基称为齐次方程组的基础解系。

(2) ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$Ax=0$的基础解系，即：

1. ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$Ax=0$的解；

2. ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性无关；

3. $Ax=0$的任一解都可以由${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性表出.
   $k_1{\eta }_1+k_2{\eta }_2+\cdots +k_t{\eta }_t$是$Ax=0$的通解，其中$k_1,k_2,\cdots ,k_t$是任意常数。

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设$\lambda$是$A$的一个特征值，则 $kA,aA+bE,A^2,A^m,f(A),A^T,A^{-1},A^{\ast }$有一个特征值分别为
$k\lambda ,a\lambda +b,{\lambda }^2,{\lambda }^m,f(\lambda ),\lambda ,{\lambda }^{-1},\frac{|A|}{\lambda },$且对应特征向量相同（$A^T$ 例外）。

(2)若${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$为$A$的$n$个特征值，则${\sum }_{i=1}^n{\lambda }_i={\sum }_{i=1}^n{a}_{ii},{\prod }_{i=1}^n{\lambda }_i=|A|$ ,从而$|A|\ne 0\iff A$没有特征值。

(3)设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$为$A$的$s$个特征值，对应特征向量为${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，

若: $\alpha =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_s{\alpha }_s$ ,

则: $A^n\alpha =k_1{A}^n{\alpha }_1+k_2{A}^n{\alpha }_2+\cdots +k_s{A}^n{\alpha }_s=k_1{\lambda }_1^n{\alpha }_1+k_2{\lambda }_2^n{\alpha }_2+\cdots k_s{\lambda }_s^n{\alpha }_s$ 。

2.相似变换、相似矩阵的概念及性质

(1) 若$A\sim B$，则

1. $A^T\sim B^T,A^{-1}\sim B^{-1},,A^{\ast }\sim B^{\ast }$

2. $|A|=|B|,{\sum }_{i=1}^n{A}_{ii}={\sum }_{i=1}^n{b}_{ii},r(A)=r(B)$

3. $|\lambda E-A|=|\lambda E-B|$，对$\forall \lambda$成立

3.矩阵可相似对角化的充分必要条件

(1)设$A$为$n$阶方阵，则$A$可对角化$\iff$对每个$k_i$重根特征值${\lambda }_i$，有$n-r({\lambda }_{i}E-A)=k_i$

(2) 设$A$可对角化，则由$P^{-1}AP=\Lambda ,$有$A=P\Lambda P^{-1}$，从而$A^n=P{\Lambda }^n{P}^{-1}$

(3) 重要结论

1. 若$A\sim B,C\sim D$，则$\left[\begin{array}{cc}A& O\\ O& C\end{array}\right]\sim \left[\begin{array}{cc}B& O\\ O& D\end{array}\right]$.

2. 若$A\sim B$，则$f(A)\sim f(B),\left|f(A)\right|\sim \left|f(B)\right|$，其中$f(A)$为关于$n$阶方阵$A$的多项式。

3. 若$A$为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩($A$)

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设$A,B$为两个$n$阶方阵，如果存在一个可逆矩阵$P$，使得$B=P^{-1}AP$成立，则称矩阵$A$与$B$相似，记为$A\sim B$。

(2)相似矩阵的性质：如果$A\sim B$则有：

1. $A^T\sim B^T$

2. $A^{-1}\sim B^{-1}$ （若$A$，$B$均可逆）

3. $A^k\sim B^k$ （$k$为正整数）

4. $\left|\lambda E-A\right|=\left|\lambda E-B\right|$，从而$A,B$
   有相同的特征值

5. $\left|A\right|=\left|B\right|$，从而$A,B$同时可逆或者不可逆

6. 秩$\left(A\right)=$秩$\left(B\right),\left|\lambda E-A\right|=\left|\lambda E-B\right|$，$A,B$不一定相似

二次型

1.$\mathbf{n}$个变量${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$的二次齐次函数

$f(x_1,x_2,\cdots ,x_n)={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}{x}_i{y}_j$，其中$a_{ij}=a_{ji}(i,j=1,2,\cdots ,n)$，称为$n$元二次型，简称二次型. 若令$x=\left[\begin{array}{c}{x}_1\\ x_1\\ ⋮\\ x_n\end{array}\right],A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$,这二次型$f$可改写成矩阵向量形式$f=x^{T}Ax$。其中$A$称为二次型矩阵，因为$a_{ij}=a_{ji}(i,j=1,2,\cdots ,n)$，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵$A$的秩称为二次型的秩。

2.惯性定理，二次型的标准形和规范形

(1) 惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。

(2) 标准形

二次型$f=\left(x_1,x_2,\cdots ,x_n\right)=x^{T}Ax$经过合同变换$x=Cy$化为$f=x^{T}Ax=y^T{C}^{T}AC$

$y={\sum }_{i=1}^r{d}_i{y}_i^2$称为 $f(r\le n)$的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由$r(A)$唯一确定。

(3) 规范形

任一实二次型$f$都可经过合同变换化为规范形$f=z_1^2+z_2^2+\cdots z_p^2-z_{p+1}^2-\cdots -z_r^2$，其中$r$为$A$的秩，$p$为正惯性指数，$r-p$为负惯性指数，且规范型唯一。

3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

设$A$正定$\Rightarrow kA(k>0),A^T,A^{-1},A^{\ast }$正定；$|A|>0$,$A$可逆；$a_{ii}>0$，且$|A_{ii}|>0$

$A$，$B$正定$\Rightarrow A+B$正定，但$AB$，$BA$不一定正定

$A$正定$\iff f(x)=x^{T}Ax>0,\forall x\ne 0$

$\iff A$的各阶顺序主子式全大于零

$\iff A$的所有特征值大于零

$\iff A$的正惯性指数为$n$

$\iff$存在可逆阵$P$使$A=P^{T}P$

$\iff$存在正交矩阵$Q$，使$Q^{T}AQ=Q^{-1}AQ=\left(\begin{array}{ccc}{\lambda }_1& & \\ \begin{array}{cc}& \\ & \end{array}& \ddots & \\ & & {\lambda }_n\end{array}\right),$

其中${\lambda }_i>0,i=1,2,\cdots ,n.$正定$\Rightarrow kA(k>0),A^T,A^{-1},A^{\ast }$正定； $|A|>0,A$可逆；$a_{ii}>0$，且$|A_{ii}|>0$ 。

奇异值分解（SVD）

参考文章：SVD原理总结

奇异值分解（SVD）在降维，数据压缩，推荐系统等有广泛的应用，任何矩阵都可以进行奇异值分解。下面通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法，以及用协方差含义去理解行降维和列降维，最后介绍了SVD的数据压缩原理 。

1.正交变化

$$X=UY$$

上式表示：X是Y的正交变换 ，其中U是正交矩阵，X和Y为列向量 。

正交变换的含义：

假设有两个单位列向量$\vec{a},\vec{b}$，两向量的夹角为$\theta$，如图：

对向量$\vec{a},\vec{b}$进行正交变换：
$$\overrightarrow{a^{{}^{\prime }}}=U\ast \vec{a}\overrightarrow{b^{{}^{\prime }}}=U\ast \vec{b}$$
$\overrightarrow{a^{{}^{\prime }}},\overrightarrow{b^{{}^{\prime }}}$的模（正交变换不改变向量的模）【$||x||$表示范数，也有距离、长度的概念】：
$$\begin{gathered} ||\overrightarrow{a^{{}^{\prime }}}||=||U\ast \vec{a}||=||U||\ast ||\vec{a}||=||\vec{a}||=1 \\ ||\overrightarrow{b^{{}^{\prime }}}||=||U\ast \vec{b}||=||U||\ast ||\vec{b}||=||\vec{b}||=1 \end{gathered}$$
$\overrightarrow{a^{{}^{\prime }}},\overrightarrow{b^{{}^{\prime }}}$的内积（正交变换前后的内积相等）：
$${\overrightarrow{a^{{}^{\prime }}}}^T\ast \overrightarrow{b^{{}^{\prime }}}=(U\ast \vec{a}{)}^T(U\ast \vec{b})={\vec{a}}^T{U}^{T}U\vec{b}={\vec{a}}^T\vec{b}$$
$\overrightarrow{a^{{}^{\prime }}},\overrightarrow{b^{{}^{\prime }}}$的夹角${\theta }^{{}^{\prime }}$（由上面的公式可得$\theta ={\theta }^{{}^{\prime }}$）：
$$cos\theta =\frac{{\vec{a}}^T\ast \vec{b}}{|\vec{a}||\vec{b}|}cos{\theta }^{{}^{\prime }}=\frac{{\overrightarrow{a^{{}^{\prime }}}}^T\ast \overrightarrow{b^{{}^{\prime }}}}{|\overrightarrow{a^{{}^{\prime }}}||\overrightarrow{b^{{}^{\prime }}}|}$$
因此，正交变换的性质可用下图来表示：

正交变换的两个重要性质：

• 正交变换不改变向量的模。
• 正交变换不改变向量的夹角。

如果向量$\vec{a},\vec{b}$是基向量，那么正交变换后的结果如下：

向量空间的基是它的一个特殊的子集，基的元素称为基向量。向量空间中任意一个元素，都可以唯一地表示成基向量的线性组合。基向量之间是线性无关的。

例子：考虑所有坐标 (a,b)的向量空间R，这里的a和b都是实数。则非常自然和简单的基就是向量$e_1=(1,0)$和$e_2=(0,1)$:假设v= (a,b)是R中的向量，则$v=a(1,0)+b(0,1)$。而任何两个线性无关向量如 (1,1)和(−1,2)，也形成R的一个基。

上图可以得到重要结论：基向量正交变换后的结果仍是基向量 。基向量是表示向量最简洁的方法，向量在基向量的投影就是所在基向量的坐标，我们通过这种思想去理解特征值分解和推导SVD分解。

为什么要正交变换？

正交变换图形上最直观的作用是：一巴掌把歪七扭八的图形打正，如下：

图形立正的同时，不改变其大小与形状，表达式也随之“标准化”【规范型系数只有1，0，-1】，$x_i{x}_j$杂项群魔退散，平方项真身显现。

例题：求椭圆$2x^2+4xy+5y^2=1$的面积

上式改写成矩阵形式：$X^T\left[\begin{array}{cc}2& 2\\ 2& 5\end{array}\right]X=1$

①求特征值和特征向量
$$\begin{gathered} |\lambda E-A|=0\Rightarrow {\lambda }_1=6,{\lambda }_2=1 \\ ({\lambda }_{i}E-A)\alpha \Rightarrow {\alpha }_1=(1,2{)}^T,{\alpha }_2=(-2,1{)}^T \end{gathered}$$
②特征向量正交化（未正交需要施密特正交化）、单位化

单位化：${\alpha }_1^{{}^{\prime }}=\frac{{\alpha }_1}{|{\alpha }_1|},{\alpha }_2^{{}^{\prime }}=\frac{{\alpha }_2}{|{\alpha }_2|}$；正交矩阵为：$Q=(a_1^{{}^{\prime }},a_2^{{}^{\prime }})$

③化为标准型

$f=X^{T}AX$在$X=QY$的作用下，化为$f=y^T{Q}^{T}AQy=6y_1^2+y_2^2$.

最后由面积公式$S=\pi ab$求得面积。

2.特征值分解的含义

对称方阵A的特征值分解为：$A=U\Sigma U^{-1}$，其中$U$是正交矩阵，$\Sigma$是由方阵A得特征值构成得对角矩阵（奇异矩阵）。

为了可视化特征值分解，假设A是2×2的对称矩阵，$U=(u_1,u_2),\Sigma =({\lambda }_1,{\lambda }_2)$,则将上式展开为：
$$A{u}_1={\lambda }_1{u}_{1}A{u}_2={\lambda }_2{u}_2$$

由上图可知，矩阵A没有旋转特征向量，它只是对特征向量进行了拉伸或缩短（取决于特征值的大小），因此，对称矩阵对其特征向量（基向量）的变换仍然是基向量（单位化） 。

**特征向量和特征值的几何意义：**若向量经过矩阵变换后保持方向不变，只是进行长度上的伸缩，那么该向量是矩阵的特征向量，伸缩倍数是特征值。

3.SVD分解推导

我们考虑了当基向量是对称矩阵的特征向量时，矩阵变换后仍是基向量，但是，我们在实际项目中遇到的大都是行和列不相等的矩阵，如统计每个学生的科目乘积，行数为学生个数，列数为科目数，这种形成的矩阵很难是方阵，因此SVD分解是更普遍的矩阵分解方法 。

回顾一下正交变换的思想：基向量正交变换后的结果仍是基向量 。

用正交变换的思想来推导SVD分解：

假设矩阵$A_{M\times N}$，秩为$K$，$Rank(A)=k$。存在一组正交基$V$：
$$V=(v_1,v_2,\dots ,v_k)$$
矩阵对其变换后仍是正交基，记为$U$：
$$U=(A{v}_1,A{v}_2,\dots ,A{v}_k)$$
由正交基定义，得：$(A{v}_i{)}^T(A{v}_j)=0$，将其展开有：
$$\begin{gathered} v_i^T{A}^{T}A{v}_j=0 \\ when{v}_{i}istheeigenvectorof{A}^{T}A:(A^{T}A)v_i=\lambda v_i \\ theformulaaboveconvertto:\lambda v_i^T{v}_j=0 \end{gathered}$$
假设成立。

正交向量的模：
$$\begin{gathered} ||A{v}_i|{|}^2=(A{v}_i{)}^T(A{v}_i)\Rightarrow v_i^T{A}^{T}A{v}_i\Rightarrow {\lambda }_i{v}_i^T{v}_i={\lambda }_i \\ \therefore ||A{v}_i||=\sqrt{{\lambda }_i} \end{gathered}$$
单位化正交向量，得：
$$\begin{gathered} u_i=\frac{A{v}_i}{||A{v}_i||}=\frac{1}{\sqrt{{\lambda }_i}}A{v}_i \\ \therefore A{v}_i=\sqrt{{\lambda }_i}\ast u_i \end{gathered}$$
结论：当基向量是$A^{T}A$的特征向量时，矩阵A转换后的向量也是基向量 。

用矩阵表示上式：$AV=U\Sigma$

其中$V=(v_1,v_2,\dots ,v_k),\Sigma =\left[\begin{array}{ccccc}{\sigma }_1& & & & \\ & {\sigma }_2& & & \\ & & \ddots & & \\ & & & {\sigma }_k& \end{array}\right],U=(u_1,u_2,\dots ,u_k),{\sigma }_i=\sqrt{{\lambda }_i}$.

矩阵$V_{N\times K},U_{M\times K},{\Sigma }_{M\times K}$需要扩展成方阵：

将正交基$U=(u_1,u_2,\dots ,u_k)$扩展成$(u_1,u_2,\dots ,u_n)R^n$空间的正交基，即方阵$U_{N\times N}$.

将正交基$V=(v_1,v_2,\dots ,v_k)$扩展成$(v_1,v_2,\dots ,v_n)R^n$空间的正交基，即方阵$V_{N\times N}$，其中$(v_{k+1},v_{k+2},\dots ,v_n)$是矩阵A的零空间，即：$A{v}_i=0,i>k$，对应特征值${\sigma }_i=0$.

因此矩阵表示的式子转换为向量形式：
$$\begin{gathered} AV=U\Sigma \Rightarrow \\ A(v_i,v_2\dots ,v_k|v_{k+1},v_{k+2},\dots ,v_n)=(u_i,u_2\dots ,u_k|u_{k+1},u_{k+2},\dots ,u_n)\left[\begin{array}{ccccccc}{\sigma }_1& & & & & & \\ & {\sigma }_2& & & & & \\ & & \ddots & & & & \\ & & & {\sigma }_k& & & \\ & & & & 0& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right] \end{gathered}$$
两式右乘$V^T$，可得矩阵的奇异值分解：
$$\begin{gathered} A=U\Sigma V^T \\ =(u_i,u_2\dots ,u_k|u_{k+1},u_{k+2},\dots ,u_n)\left[\begin{array}{ccccccc}{\sigma }_1& & & & & & \\ & {\sigma }_2& & & & & \\ & & \ddots & & & & \\ & & & {\sigma }_k& & & \\ & & & & 0& & \\ & & & & & \ddots & \\ & & & & & & 0\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ ⋮\\ v_k^T\\ v_{k+1}^T\\ ⋮\\ v_n^T\end{array}\right] \\ =(u_i,u_2\dots ,u_k)\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_k\end{array}\right]\left[\begin{array}{c}{v}_1^T\\ ⋮\\ v_k^T\end{array}\right] \\ 令：X=(u_i,u_2\dots ,u_k)\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_k\end{array}\right]=({\sigma }_1{u}_1,{\sigma }_2{u}_2,\dots ,{\sigma }_k{u}_k) \\ Y=\left[\begin{array}{c}{v}_1^T\\ ⋮\\ v_k^T\end{array}\right] \\ 则：A=XY \end{gathered}$$
因为X和Y分别是列满秩和行满秩，所以上式是A的满秩分解。