[笔记][总结] MIT线性代数 Gilbert Strang 矩阵分解

作者水平有限，欢迎大家提出文中错误

$P{A}_{n\ast n}=LU$

高斯消元法

我曾写过一个使用高斯消元法求解行列式的C++程序，本小节直接引用这段代码讲解

[C++] 计算行列式的若干种方法

void GaussElimination2UTM(double* matrix, int dimension){
//注意cnt3一定要从矩阵最右侧运算至左侧，否则主元列对应元素归零，运算就无法正常进行
	for(int cnt1=0; cnt1<dimension; cnt1++)
		for(int cnt2=cnt1+1; cnt2<dimension; cnt2++)
			for(int cnt3=dimension-1; cnt3>=cnt1; cnt3--)
				matrix[cnt2*dimension+cnt3] += 
					-1*matrix[cnt1*dimension+cnt3]*matrix[cnt2*dimension+cnt1]/matrix[cnt1*dimension+cnt1];
	return;
}

可见高斯消元法，就是从最上面的一行为起点，以消去主元位置下所有非零值为目的，对其下各行依次做乘加操作，直至获得上三角阵$UpperTriangleMatrix$

消元矩阵 $Eliminationmatrices$

$$E_{ij}=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & & \ddots & & \\ & & e_{ij}& 1& \\ & & & & 1\end{array}\right]$$
其作用是
$$E_{ij}A=\left[\begin{array}{c}row1(A)\\ row2(A)\\ ⋮\\ rowi(A)+e_{ij}rowj(A)\\ ⋮\\ rowm(A)\end{array}\right]$$
消元矩阵是在单位阵基础上，改变了对角线下某个元素为非零值，若此位置是$rowi,columnj$，在$rowi$基础上加上了$e_{ij}$倍的$rowj$

由消元矩阵的意义可知，消元矩阵的逆，使得多加上的一行，通过减法消除
$$E_{ij}^{-1}=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & & \ddots & & \\ & & -e_{ij}& 1& \\ & & & & 1\end{array}\right]$$

通过高斯消元法求可逆阵的逆矩阵

通过高斯消元法，可以将可逆矩阵化为单位矩阵，但是此时左乘的矩阵不仅仅是消元矩阵，而是涉及到所有初等行变换。如果将合作用依然写作$E$
那么有
$$EA=I$$
则
$$E=A^{-1}$$
如果同时对矩阵$A$和单位阵$I$做初等行变换，则可以构造增广矩阵$[A|I]$
$$E[A|I]=[I|A^{-1}]$$

$A=LU$

存在一个总的消元矩阵$E$，使得$EA=U$
$$E=E_{\psi \omega }\dots E_{\gamma \delta }{E}_{\alpha \beta }$$
因子不能打乱顺序
所求的$L=E^{-1}(LowerTriangularMatrices)$
L有一个很好的性质
$Ifnorowexchanges,multipliersofeliminationoperationsgodirectlyintoL.$
而原因其实十分简单，这里引用课本中的证明

当计算第$i$行的时候，这$i$行的内容已经和$U$一致，所以我们有第$i$行的消元步骤如下：
$$rowi(U)=rowi(A)-l_{i1}row1(U)-l_{i2}row2(U)\cdots -l_{i(i-1)}rowi-1(U)$$
整理一下式子
$$rowi(A)=l_{i1}row1(U)+l_{i2}row2(U)\cdots +l_{i(i-1)}rowi-1(U)+rowi(U)$$
将上式写成矩阵形式
$$A=\left[\begin{array}{ccccc}1& & & & \\ l_{21}& 1& & & \\ ⋮& ⋮& \ddots & & \\ l_{(n-1)1}& l_{(n-1)2}& & 1& \\ l_{n1}& l_{n2}& \cdots & l_{n(n-1)}& 1\end{array}\right]U$$
$$L=\left[\begin{array}{ccccc}1& & & & \\ l_{21}& 1& & & \\ ⋮& ⋮& \ddots & & \\ l_{(n-1)1}& l_{(n-1)2}& & 1& \\ l_{n1}& l_{n2}& \cdots & l_{n(n-1)}& 1\end{array}\right]$$

置换矩阵 $Permutationmatrices$

$$P_{ij}=\left[\begin{array}{ccccc}1& & & & \\ & & & 1& \\ & & \ddots & & \\ & 1& & & \\ & & & & 1\end{array}\right]$$
置换矩阵是在单位矩阵基础上，对矩阵的第$i$行、第$j$行或（第$i$列、第$j$列）进行交换，可见n维置换矩阵有$n!$种，并且这些矩阵可以构成一个群。

置换矩阵有如下性质：

1. $P^T=P^{-1}(orthogonal)$
2. $detP=-1$

从变换的意义上讲，置换矩阵对应的是一种镜像变换

何时需要置换矩阵

还是以[C++] 计算行列式的若干种方法讲解
在高斯消元法求解上三角阵的时候，由于一个极小主元的出现，使得整个消元过程出现了极大误差，原因是计算机中浮点数的精度是有限的，对于极小值，在计算机中精度的丢失是致命的。当我的程序引入了置换操作后，问题得以解决。










在代数上，置换操作是为了解决消元过程中产生的主元为零，使得消元无法继续的问题，换句话说$P$使得矩阵$A$各行排列在合适的位置上，避免主元0的出现。

$PA=LDU$

LU分解还有一个更加平衡的形式，通过消元得到的上三角阵$U$，可以进一步把主元分离出来，构成$DiagonalMatrices$。
例如
$$\left[\begin{array}{cc}2& 1\\ & 3\end{array}\right]=\left[\begin{array}{cc}2& \\ & 3\end{array}\right]\left[\begin{array}{cc}1& \frac{1}{2}\\ & 1\end{array}\right]$$

秩一矩阵的分解$A=u{v}^T$

所有秩一矩阵都可以表示称主行和主列的乘积
$$\left[\begin{array}{ccc}1& 4& 5\\ 2& 8& 10\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]\left[\begin{array}{ccc}1& 4& 5\end{array}\right]$$
秩一矩阵就像构造其他矩阵的积木一样，比如一个$5\ast 17$的秩$4$矩阵，最少可以拆成$4$个秩一矩阵

$A=QR$

暂无

特征值分解

假设$n$阶方阵
$A$存在$n$个相互独立的特征向量，构造成特征向量矩阵
$$S=[x_1{x}_2\cdots x_n]$$
将$A$左乘$S$
$$AS=[{\lambda }_1{x}_1{\lambda }_2{x}_2\cdots {\lambda }_n{x}_n]$$
分离特征值和特征向量
$$AS=[x_1{x}_2\cdots x_n]\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]=S\Lambda$$
左乘$S^{-1}$
$$A=S\Lambda S^{-1}$$
详见[笔记][总结] MIT线性代数 Gilbert Strang 矩阵运算

奇异值分解

奇异值分解$(SingularValueDecomposition)$
$$A=U\Sigma V^T$$
如果$A$是方阵，$U,V$都是标准正交矩阵，$\Sigma$是对角矩阵，但其实任意类型的矩阵都可以进行奇异值分解

奇异值分解的意义

$v_1{v}_2\cdots v_r$行空间的一组标准正交基，$u_1{u}_2\cdots u_r$是列空间的一组标准正交基，而且这组正交基的每一个基都满足${\sigma }_i{u}_i=A{v}_i(\sigma isastretchingfactor)$，当然并不是行空间的任意一组正交基，都能在都左乘$A$后，仍然保持正交。这个不影响分解
${\sigma }_i{u}_i=A{v}_i$可以表示成
$$[u_1{u}_2\cdots u_r{]}_{m\ast r}{\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]}_{r\ast r}=A_{m\ast n}[v_1{v}_2\cdots v_r{]}_{n\ast r}$$

但是这还不是奇异值分解的最终形式，因为$N(A)$和$N(A^T)$的信息还是隐藏着

补充$v_{r+1}\cdots v_m$是零空间的一组标准正交基
补充$u_{r+1}\cdots u_n$是左零空间的一组标准正交基
$$V=[v_1{v}_2\cdots v_r{v}_{r+1}\cdots v_n{]}_{n\ast n}=[V_{C(A^T)}{V}_{N(A)}]$$

$$U=[u_1{u}_2\cdots u_r{u}_{r+1}\cdots u_m{]}_{m\ast m}=[U_{C(A)}{U}_{N(A^T)}]$$

$U$的列向量构成了${\mathbb{R}}^m$的一组标准正交基
$V$的列向量构成了${\mathbb{R}}^n$的一组标准正交基
$$A_{m\ast n}[V_{C(A^T)n\ast r}{V}_{N(A)n\ast (n-r)}{]}_{n\ast n}=[U_{C(A)m\ast r}{U}_{N(A^T)m\ast (m-r)}{]}_{m\ast m}{\left[\begin{array}{cc}{\Sigma }_{r\ast r}& O_{r\ast (n-r)}\\ O_{(m-r)\ast r}& O_{(m-r)\ast (n-r)}\end{array}\right]}_{m\ast n}$$
$$A_{m\ast n}=[U_{C(A)m\ast r}{U}_{n(A^T)m\ast (m-r)}{]}_{m\ast m}{\left[\begin{array}{cc}{\Sigma }_{r\ast r}& O_{r\ast (n-r)}\\ O_{(m-r)\ast r}& O_{(m-r)\ast (n-r)}\end{array}\right]}_{m\ast n}\left[\begin{array}{c}{V}_{C(A^T)r\ast n}^T\\ V_{N(A)(n-r)\ast n}^T\end{array}\right]$$
其中上式包含
$$A=U_{C(A)}\Sigma V_{C(A^T)}^T$$

由于$U_{N(A^T)}$和$V_{N(A)}$的选取是任意的，所以矩阵$A$的奇异值分解不一定是唯一的，但是$A=U_{C(A)}\Sigma V_{C(A^T)}^T$是唯一的
最后，一般的奇异值分解为
$$A=U\left[\begin{array}{cc}\Sigma & O\\ O& O\end{array}\right]V^T$$

方阵的奇异值分解

$$A_{n\ast n}=U\left[\begin{array}{cc}{\Sigma }_{r\ast r}& O_{r\ast (n-r)}\\ O_{(n-r)\ast r}& O_{(n-r)\ast (n-r)}\end{array}\right]V$$
对于方阵，$U,V$中间的矩阵一定是对角阵，在计算过程中，没有必要把零值和非零值分开计算，零值直接视作零特征值，不妨直接把中间的矩阵记作$\Sigma$

已经知道$A^{T}A$是对称矩阵，如果已经知道了$A=U\Sigma V^T$
$$A^{T}A=V\Sigma U^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$$
式子中的$V$是奇异值分解里的$V$

同样的$A{A}^T$也是对称矩阵
$$A{A}^T=U{\Sigma }^2{U}^T$$
式子中的$U$是奇异值分解里的$U$
综上所述，标准正交矩阵$V$是$A^{T}A$的特征向量矩阵，标准正交矩阵$U$是$A{A}^T$的特征向量矩阵
同时也可以看出，即使$A{A}^T$和$A^{T}A$不一定是正定的，但至少他们都是半正定的
而且$A{A}^T$和$A^{T}A$有相同的特征值，这不是偶然$AB$和$BA$当然有相同的特征值

这个$\Sigma$的平方，就是上边特征值矩阵，对各项开方即可得到。

再议对称矩阵

所有矩阵的奇异值分解中，要数对称矩阵的奇异值分解最特殊，因为其$U=V$
对称矩阵的奇异值分解为
$$A=Q\Lambda Q^T$$
同时上式也是对称矩阵的特征值分解