矩阵分析之 实矩阵分解（3）Cholesky分解

前言

上篇写了LU和PLU分解。对于任意可逆方阵都可以进行LU分解和PLU分解，并且PLU分解的稳定性优于LU分解。本次的Cholesky分解实际上是LU分解的特例。

Cholesky分解（LLT分解）

当方阵$A$是对称正定矩阵时，可以进行Cholesky分解：
$$A=L{L}^T$$
Cholesky分解的结果是唯一的。

证明：
$$\begin{gathered} A=\tilde{L}U, \\ \tilde{L}是单位下三角矩阵,U是上三角矩阵 \\ U=\Lambda \tilde{U} \\ \tilde{U}是单位上三角矩阵，\Lambda 是对角矩阵 \\ A=A^T \\ A=\tilde{L}\Lambda \tilde{U} \\ {A}^T={\tilde{U}}^T\Lambda {\tilde{L}}^T \\ \tilde{L}\Lambda \tilde{U}={\tilde{U}}^T\Lambda {\tilde{L}}^T \\ \tilde{L}\Lambda ={\tilde{U}}^T\Lambda {\tilde{L}}^T{\tilde{U}}^{-1} \\ ({\tilde{U}}^T{)}^{-1}\tilde{L}=\Lambda {\tilde{L}}^T{\tilde{U}}^{-1}{\Lambda }^{-1} \\ 左边单位下三角矩阵，右边是上三角矩阵 \\ 两边相等，则两边都是单位矩阵 \\ ({\tilde{U}}^T{)}^{-1}\tilde{L}=E \\ \tilde{L}={\tilde{U}}^T \\ A=\tilde{L}\Lambda {\tilde{L}}^T \\ \Lambda 可看作一个二次型的标准型矩阵 \\ 由于A正定，\Lambda 对角元素大于0，将\Lambda 分解 \\ \Lambda =\tilde{\Lambda }{\tilde{\Lambda }}^T=diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n) \\ \tilde{\Lambda }=diag({\sqrt{\lambda }}_1,{\sqrt{\lambda }}_2,\dots ,{\sqrt{\lambda }}_n) \\ A=\tilde{L}\Lambda {\tilde{L}}^T=\tilde{L}\tilde{\Lambda }{\tilde{\Lambda }}^T{\tilde{L}}^T=\tilde{L}\tilde{\Lambda }(\tilde{L}\tilde{\Lambda }{)}^T=L{L}^T \end{gathered}$$
因为LU矩阵分解获得的单位下三角矩阵是唯一的，因此$\tilde{L},\Lambda ,\tilde{U}$是唯一的，则Cholesky分解得到的$L$也是唯一的。

Cholesky分解同PLU分解稳定性相似，比LU分解稳定，计算速度快于LU和PLU分解。

改进的Cholesky分解（LDLT分解）

从上面的证明中可以看出，如果矩阵$A$不是正定的，则$\Lambda$并不能进行Cholesky分解。

如果$A$是可逆对称矩阵，那么可以进行LDLT分解：
$$A=LD{L}^T$$
LDLT分解的结果也是唯一的，证法与Cholesky的证明类似，在这就不多写了。

可以看出，不把$\Lambda$分解时的Cholesky分解形式和LDLT分解是一样的，因此LDLT实际上就是去除了开方操作的Cholesky算法。

LDLT算法的计算复杂度和稳定性与Cholesky算法相同。