矩阵分解——三角分解（Cholesky 分解）

• （1）一个对角元素都是1的下三角矩阵，称为单位下三角矩阵。

• （2）上（下）三角矩阵的乘积仍是上（下）三角矩阵；

• （3）一般来说，矩阵的三角分解不唯一。

• （4）实对称正定矩阵 $A$，$\Delta_k>0$（$k=1,2,\cdots,n$）

三角分解

如果方阵 $A$ 可分解为一个下三角矩阵 $L$ 和一个上三角矩阵 $U$ 的乘积，则称 $A$ 可作三角分解或 $LU(LR)$ 分解。如果 $A$ 可分解成 $A=LDU$，其中 $L$ 是单位下三角矩阵，$D$ 是对角矩阵，$U$ 是单位上三角矩阵，则称 $A$ 可做 $LDU$ 分解。

设 $A=(a_{ij})$ 是 $n$ 阶矩阵，则当且仅当 $A$ 的顺序主子式 $\Delta_k\neq0$（$k=1,2,\cdots,n-1$，为什么要求到 $n-1$，因为 $\frac{\Delta_{k}}{\Delta_{k-1}}$）时，$A$ 可唯一地分解为 $LDU$，其中 $L$ 为单位下三角矩阵，$U$ 为单位上三角矩阵，$D$ 是对角矩阵，

$$D=diag(d_1,d_2,\cdots,d_n)$$
其中，$d_k=\frac{\Delta_{k}}{\Delta_{k-1}}$（$k=1,2,\cdots,n;\;\Delta_0=1$）

Cholesky 分解（平方根分解）

当 $A$ 为实对称正定矩阵（样本的协方差矩阵）时，$\Delta_k>0$（$k=1,2,\cdots,n$），有唯一的 $LDU$ 分解，即：

$$A=LDU$$

其中 $D=diag(d_1,d_2,\cdots,d_n)$，且 $d_i>0$（$i=1,2,\cdots,n$），令：

$$\tilde D=diag(\sqrt {d_1},\sqrt {d_2},\cdots,\sqrt {d_n})$$
于是有：
$$A=L{\tilde D}^2U$$
由 $A^T=A$，得：
$$L\tilde D^2U=U^T\tilde D^2L^T$$

再由分解的唯一性得：

$$L=U^T,\qquad U=L^T$$
因而有：
$$A=L\tilde D^2L^T=LDL^T$$
或者：
$$A=L\tilde D^2L^T=(L\tilde D)(L\tilde D)^T=GG^T$$

Cholesky 分解在计算马氏距离时的作用

$\Sigma$ 协方差矩阵首先是实对称半正定的，如果其全部对角线元素为正的，则 $\Sigma$ 就为实对称正定矩阵，可进行 Cholesky 未解（$L$ 为下三角矩阵）：

$$\Sigma = LL^T$$
我们在计算样本 $X$ 中的两特征向量的距离时，如果使用马氏距离的计算公式：
$$D(x,y)=\sqrt {(x-y)^T\Sigma^{-1}(x-y)}$$
直接对 $\Sigma$ 求逆计算复杂度极高，我们将Cholesky 分解后的 $LL^T$，代入计算式：

$$D(x,y)=\sqrt{\left [L^{-1}(x-y)\right ]^T\left [L^{-1}(x-y)) \right]}$$