Cholesky分解、乔列斯基分解

一、简介

1.1 定理

Cholesky分解法 又叫 平方根法，是一种分解 正定Hermite矩阵 (即 $\mathbf{A}={\mathbf{A}}^{\mathrm{H}}$ ) 的方法，以下我用实数域 (即 对称正定阵$\mathbf{A}={\mathbf{A}}^{\mathrm{T}}$) 来说明。

定理：若矩阵 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 正定，且 $\mathbf{A}={\mathbf{A}}^{\mathrm{T}}$，则存在唯一下三角矩阵 $\mathbf{L}\in {\mathbb{R}}^{n\times n}$ ，使得：
$$\mathbf{A}=\mathbf{L}{\mathbf{L}}^{\mathrm{T}}$$

证明：（暂略，有时间补）

1.2 分解方法

记:
$$\begin{gathered} \mathbf{A}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right) \\ \mathbf{L}=\left(\begin{array}{cccc}{l}_{11}& & & \\ l_{21}& l_{22}& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \dots & l_{nn}\end{array}\right){\mathbf{L}}^{\mathrm{T}}=\left(\begin{array}{cccc}{l}_{11}& l_{21}& \dots & l_{n1}\\ & l_{22}& \dots & l_{n2}\\ & & \ddots & ⋮\\ & & & l_{nn}\end{array}\right) \end{gathered}$$

那么：
$$\begin{gathered} \left(\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right)=\left(\begin{array}{cccc}{l}_{11}& & & \\ l_{21}& l_{22}& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \dots & l_{nn}\end{array}\right)\left(\begin{array}{cccc}{l}_{11}& l_{21}& \dots & l_{n1}\\ & l_{22}& \dots & l_{n2}\\ & & \ddots & ⋮\\ & & & l_{nn}\end{array}\right) \\ =\left(\begin{array}{ccccc}{l}_{11}^2& \dots & \dots & \dots & \dots \\ l_{11}{l}_{21}& l_{21}^2+l_{22}^2& \dots & \dots & \dots \\ l_{11}{l}_{31}& l_{31}{l}_{21}+l_{32}{l}_{22}& l_{31}^2+l_{32}^2+l_{33}^2& \dots & \dots \\ ⋮& ⋮& ⋮& \ddots & ⋮\\ l_{11}{l}_{n1}& l_{n1}{l}_{21}+l_{n2}{l}_{22}& l_{n1}{l}_{31}+l_{n2}{l}_{32}+l_{n3}{l}_{33}& \dots & \sum _{i=1}^n{l}_{ni}^2\end{array}\right) \end{gathered}$$

由于 $\mathbf{A}$ 是对称矩阵，所以我们只看下三角：
$$\left(\begin{array}{ccccc}{a}_{11}& & & & \\ a_{21}& a_{22}& & & \\ a_{31}& a_{32}& a_{33}& & \\ ⋮& ⋮& ⋮& \ddots & \\ a_{n1}& a_{n2}& a_{n3}& \dots & a_{nn}\end{array}\right)=\left(\begin{array}{ccccc}{l}_{11}^2& & & & \\ l_{11}{l}_{21}& l_{21}^2+l_{22}^2& & & \\ l_{11}{l}_{31}& l_{31}{l}_{21}+l_{32}{l}_{22}& l_{31}^2+l_{32}^2+l_{33}^2& & \\ ⋮& ⋮& ⋮& \ddots & \\ l_{11}{l}_{n1}& l_{n1}{l}_{21}+l_{n2}{l}_{22}& l_{n1}{l}_{31}+l_{n2}{l}_{32}+l_{n3}{l}_{33}& \dots & \sum _{i=1}^n{l}_{ni}^2\end{array}\right)$$

按照从左到右 (红黄绿蓝紫) 的顺序，逐列对应元素计算，便可将所有 $\mathbf{L}$ 的元素 $l_{ij}$ 求出来

---

二、应用

2.1 线性方程求解

对于线性方程组 $\mathbf{A}\mathbf{X}=\mathbf{B}$，其中$\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 正定，且 $\mathbf{A}={\mathbf{A}}^{\mathrm{T}}$，那么求解方程可以使用 Cholesky分解：

1. 对矩阵 $\mathbf{A}$ 进行 Cholesky分解 得，$\mathbf{A}=\mathbf{L}{\mathbf{L}}^{\mathrm{T}}$，则原方程化为 $\mathbf{L}{\mathbf{L}}^{\mathrm{T}}\mathbf{X}=\mathbf{B}$
2. 令 ${\mathbf{L}}^{\mathrm{T}}\mathbf{X}=\mathbf{Y}$，此时，解下三角方程 $\mathbf{L}\mathbf{Y}=\mathbf{B}$，求得 $\mathbf{Y}$
3. 解上三角方程 ${\mathbf{L}}^{\mathrm{T}}\mathbf{X}=\mathbf{Y}$，求得 $\mathbf{X}$

通过 Cholesky分解 将 普通线性方程求解 改为两次简单的 三角阵方程组求解 ，降低计算复杂度。

2.2 求逆矩阵

三角矩阵的逆比较好求，从而可以很快求出原矩阵的逆。

---

三、扩展Cholesky分解

3.1 简介

从 1.2 节可以知道，矩阵 $\mathbf{L}$ 对角线上的元素在计算时，都需要开方操作，增加计算量的同时还可能损失精度。引进一种 Cholesky的扩展分解方法：
$$\mathbf{A}=\mathbf{L}\mathbf{D}{\mathbf{L}}^{\mathrm{T}}$$

证明：
我们已知，正定对称阵 $\mathbf{A}$ 可以分解为： $\mathbf{A}=\mathbf{L}{\mathbf{L}}^{\mathrm{T}}$

而 $\mathbf{L}$ 可以写成：

$$\begin{array}{rl}\mathbf{L}& =\left(\begin{array}{cccc}{l}_{11}& & & \\ l_{21}& l_{22}& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \dots & l_{nn}\end{array}\right)\\ & \\ & =\left(\begin{array}{cccc}1& & & \\ l_{21}/l_{11}& 1& & \\ ⋮& ⋮& \ddots & \\ l_{n1}/l_{11}& l_{n2}/l_{22}& \dots & 1\end{array}\right)\left(\begin{array}{cccc}{l}_{11}& & & \\ & l_{22}& & \\ & & \ddots & \\ & & & l_{nn}\end{array}\right)\\ & \\ & \stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}{\mathbf{L}}_1\mathbf{\Lambda }\end{array}$$

同理 ${\mathbf{L}}^{\mathrm{T}}=\mathbf{\Lambda }{\mathbf{L}}_1^{\mathrm{T}}$

那么 $\mathbf{A}=\mathbf{L}{\mathbf{L}}^{\mathrm{T}}={\mathbf{L}}_1{\mathbf{\Lambda }}^2{\mathbf{L}}_1^{\mathrm{T}}={\mathbf{L}}_1\mathbf{D}{\mathbf{L}}_1^{\mathrm{T}}$

3.2 分解方法

记:
$$\begin{gathered} \mathbf{A}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right) \\ \mathbf{L}=\left(\begin{array}{cccc}1& & & \\ l_{21}& 1& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \dots & 1\end{array}\right){\mathbf{L}}^{\mathrm{T}}=\left(\begin{array}{cccc}1& l_{21}& \dots & l_{n1}\\ & 1& \dots & l_{n2}\\ & & \ddots & ⋮\\ & & & 1\end{array}\right)\mathbf{D}=\left(\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & d_n\end{array}\right) \end{gathered}$$

那么：
$$\begin{gathered} \left(\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right)=\left(\begin{array}{cccc}1& & & \\ l_{21}& 1& & \\ ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& \dots & 1\end{array}\right)\left(\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & d_n\end{array}\right)\left(\begin{array}{cccc}1& l_{21}& \dots & l_{n1}\\ & 1& \dots & l_{n2}\\ & & \ddots & ⋮\\ & & & 1\end{array}\right) \\ =\left(\begin{array}{ccccc}{d}_1& \dots & \dots & \dots & \dots \\ d_1{l}_{21}& d_1{l}_{21}^2+d_2& \dots & \dots & \dots \\ d_1{l}_{31}& d_1{l}_{31}{l}_{21}+l_{32}{l}_{22}& d_1{l}_{31}^2+d_2{l}_{32}^2+d_3& \dots & \dots \\ ⋮& ⋮& ⋮& \ddots & ⋮\\ d_1{l}_{n1}& d_1{l}_{n1}{l}_{21}+d_2{l}_{n2}& d_1{l}_{n1}{l}_{31}+d_2{l}_{n2}{l}_{32}+d_3{l}_{n3}& \dots & d_n+\sum _{i=1}^{n-1}{d}_i{l}_{ni}^2\end{array}\right) \end{gathered}$$

计算的方式与之前类似，从左至右直接逐列对应计算即可。

可以看出来这种方式不需要开方。