矩阵分解及其应用

参考资料：

1. LU分解，维基百科

矩阵分解是指将一个矩阵表示为结构简单或具有特殊性质若干矩阵之积或之和。矩阵分解应用极广，常用来解决代数中解决各种复杂的问题。大体可以分为：

• 三角分解
• $QR$ 分解
• 满秩分解
• 奇异值分解

三角分解

基本概念

如果一个方阵 $A$ 可以表示为一个下三角矩阵 $L$ 和一个上三角矩阵 $U$ 的乘积，即

$$A=LU$$

则称 $A$ 可做三角分解。$LU$ 分解在本质上是高斯消元法的一种表达形式。实质上是将 $A$ 通过初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵。这正是所谓的杜尔里特算法（Doolittle algorithm）

从下至上地对矩阵 $A$ 做初等行变换，将对角线左下方的元素变成零，然后再证明这些行变换的效果等同于左乘一系列单位下三角矩阵，这一系列单位下三角矩阵的乘积的逆就是L矩阵，它也是一个单位下三角矩阵。

杜尔里特算法

对给定的 $N\times N$ 矩阵 $A$

1. 初始化：$A^0=(a_{n,n})=A$

   • 然后定义对于 $n = 1,\cdots,N-1$ 的情况,每一次都消去矩阵 $A^{n-1}$ 的第 $n$ 列主对角线下的元素，每消一个元相当于左乘了一个初等矩阵，消完第 $n$ 列主对角线下 元素相当于左乘了一个下述单位下三角矩阵：

   • $$L_n=\left( {\begin{array}{*{20}{c}} 1&&&&&0\\ &\ddots &&&&\\ &&1&&&\\ &&l_{n+1,n}&\ddots &&\\ &&\vdots&&\ddots&\\ 0&&l_{N,n}&&&1 \end{array}} \right)$$

     ​ 于是，定义：$A^n =L_nA^{n-1}$ ，其中

     $$l_{i,n}=-\frac{a_{i,n}^{n-1}}{a_{n,n}^{n-1}},i=n+1,n+2,\cdots,N$$

     ​ 经过 $N-1$ 轮操作后，所有在主对角线下的系数都为 0 了，于是我们得到了一个上三

     ​ 角矩阵：$A^{N-1}$，这时就有：

     $$A=L_1^{-1}L_1A^0=L_1^{-1}A^1=L_1^{-1}L_2^{-1}L_2A^1=L_1^{-1}L_2^{-1}A^2=\cdots=L_1^{-1}\cdots L_{N-1}^{-1}A^{N-1}$$

     ​ 令 $L=L_1^{-1}\cdots L_{N-1}^{-1},U=A^{N-1}$ ,则分解得证。显然能正常分解一般要求

     $$a_{n,n}^{n-1} \neq0,n=1,2,\cdots,N-1$$

     ​ 即前 $N-1$ 个顺序主子式不等于零（否则消元后主对角还为零则需要交换两行——对应

     ​ 着另外一种置换初等矩阵，这种初等矩阵可不是下三角的哦~）

     ​ 这类算法的复杂度一般在 $\frac{2n^3}{3}$ 左右，对充分消元的分解则不然。

     应用

     首先最为简单直白的遍历自然是行列式的求解：

     $$det(A)=det(L)det(U)=\prod_{i=1}^nL_{ii}U_{ii}$$

     实际上还可以引申出高斯约当消去法来求解矩阵的逆，实际上 matlab 就是利用这个原理来求解大部分矩阵的逆的。

     $QR$ 分解

     基本概念

     矩阵的 $QR$ 分解是指，如果实非奇异矩阵 $A$ 可以表示为

     $$A=QR$$

     其中 $Q$ 为正交矩阵，$R$ 为实非奇异上三角矩阵。其实际算法多种多样，有 Schmidt 正交方法，Givens 方法和 Household 方法，各有优劣。下面简单介绍Household 方法的 $QR$ 分解

     此方法利用反射矩阵，即 Householder 矩阵

     $$H=E-2uu^T$$

     其中 $u$ 是单位向量，$H$ 是正交矩阵，$det(A)=-1$。可以证明两个 $H$ 矩阵的乘积就是 Givens 矩阵，并且任何实非奇异矩阵 $A$ 可以通过连乘 $H$ 阵化为上三角矩阵 $R$ 。则 $A=QR$ 。

     应用

     矩阵的 $QR$ 分解可以用来解决线性最小二乘问题，也可以用来降低矩阵求逆的代价。因为正交矩阵的转置就是其逆 ，这是其他的矩阵分解无法比拟的。

     可以看到上述两种分解都要求是方阵，这便使得下面的满秩分解与奇异值分解有了特殊的意义。

     满秩分解

     基本概念

     满秩分解也称为最大秩分解。满秩分解是指：把秩为 $r$ 的 $m \times n$ 的矩阵 $A$ 分解为 $A=FG$ ，其中 $F$ 为秩为 $r$ 的 $m\times r$ 阶矩阵，$G$ 为秩为 $r$ 的 $r \times n$ 阶矩阵。这由初等变换是很显然的。

     应用

     其最有用的一个结论是：对于任意的非奇异矩阵 $Q$ 和置换矩阵 $P$ ，使得

     $$QAP=\left( {\begin{array}{*{20}{c}} E_r&0\\ 0&0 \end{array}} \right)$$

     奇异值分解

     基本概念

     矩阵的奇异值分解是在线性代数中一种重要的矩阵分解，在最优化问题、特征值问题、最小二乘问题、广义逆问题以及统计学问题，中都有重要应用

     对秩为 $r$ 的 $m \times n$ 的矩阵 $A$ 进行奇异值分解的步骤依次是：

     Step 1: 求得 $A^TA$ 的特征值 $\gamma_1,\gamma_2,\cdots,\gamma_n$ 及对应的特征向量并正交单位化得到矩阵 $V$ 使得

     $$V^T(A^TA)V=\left( {\begin{array}{*{20}{c}} M^2&0\\ 0&0 \end{array}} \right)$$

     其中 $M=diag(\gamma_1,\gamma_2,\cdots,\gamma_n)$ 。

     一般矩阵 $A$ 做不到总是可逆，但是复矩阵 $A^TA$ 总是可逆的，也可以做特征值分解。可以说奇异值分解一定程度上推广了特征值分解

     Step 2: 将 $V$ 的前 $r$ 列作为 $V_1$ ，令 $U=A(V_1^T)^{-1}$ ，再扩张 $U_1$ 成 $m$ 阶的矩阵 $U$ 。

     Step 3: 那么

     $$A=U\left( {\begin{array}{*{20}{c}} M&0\\ 0&0 \end{array}} \right)V^T$$

     应用

     实例上线中，未完待续~