[Math]常见矩阵分解及复杂度 Cholesky QR LU

本篇尝试介绍几个常见的矩阵分解及其数值方法，探究其算法复杂度及不稳定性来源，能够让我们更好的理解工具，使用工具。常见的矩阵分解可以在维基中找到

Cholesky

定义

正定的矩阵（如果不能分解的对称矩阵，一定是有非正的特征值），分解为对称的up down矩阵的乘积
即对于
$$A\in \mathcal{S}(\mathbb{R}{)}_{N\times N}^{++}$$
一定存在 L一个下三角矩阵（left bottom) 矩阵，能够使得有
$$A=L{L}^T$$
对于复数依旧成立，但是会要求A是一个Hermitian矩阵（即共轭转置等于自己）

数值方法

对于Cholesky求解有两种方法，参考维基的内容，第一种是利用高斯消元法，这种方法称为Chelosky 算法，第二种主要精神是首先假设这样的L存在，并反解，称为The Cholesky–Banachiewicz and Cholesky–Crout算法。

1. Chelosky算法
   对于一个矩阵A，我们希望通过迭代的方式逐渐消掉A的元素，假设在第i步迭代我们已经有了如下矩阵（当然左上角的那个Id矩阵可以是size 0，这就使得这个矩阵和原矩阵A完全一样）。
   $${\mathbf{A}}^{(i)}=\left(\begin{array}{ccc}{\mathbf{I}}_{i-1}& 0& 0\\ 0& a_{i,i}& {\mathbf{b}}_i^{\ast }\\ 0& {\mathbf{b}}_i& {\mathbf{B}}^{(i)}\end{array}\right),$$
   因为A是一个 $\mathcal{S}(\mathbb{R}{)}_{N\times N}^{++}$, 因此$a_{i,i}$一定是一个严格大于零的数字（如果非严格大于零，我们可以找到一个基底函数$x=(0,..,1,..0{)}^T$，只在i行有数值，这样$x^{T}Ax=a_{i,i}$，根据A的正定定义，这个数值必须大于零）。
   如果我们定义一个矩阵$L_i$有如下形式
   $${\mathbf{L}}_i:=\left(\begin{array}{ccc}{\mathbf{I}}_{i-1}& 0& 0\\ 0& \sqrt{a_{i,i}}& 0\\ 0& \frac{1}{\sqrt{a_{i,i}}}{\mathbf{b}}_i& {\mathbf{I}}_{n-i}\end{array}\right)$$
   那么就会有如下关系
   $${\mathbf{A}}^{(i)}={\mathbf{L}}_i{\mathbf{A}}^{(i+1)}{\mathbf{L}}_i^{\ast }$$
   其中
   A ( i + 1 ) = ( I