基于LDLT分解求解Ax=b（非超定方程）

前置知识，矩阵 $A^T\ast A$的性质：

1. 实对称性：如果 $A$是实矩阵，那么 $A^T\ast A$是实对称矩阵。这意味着 $(A^T\ast A{)}^T=A^T\ast (A^T{)}^T=A^T\ast A$，并且它的所有特征值都是实数。

2. 半正定性：$A^T\ast A$是半正定矩阵。这意味着对于所有非零向量 $x$，都有 $x^T\ast (A^T\ast A)\ast x\ge 0$。这表明其特征值是非负实数。

3. 秩的等价性：$A^T\ast A$和 $A$有相同的秩。即 $rank(A)=rank(A^T\ast A)$。这是因为$A^T\ast A$可视作 $A$ 在其自身所张成的空间中的正交投影，不会增加或减少原始矩阵的秩。

4. 特征值与奇异值的关系：$A^T\ast A$的特征值实际上是矩阵 $A$的奇异值的平方。这是因为奇异值分解中，$A=U\ast \Sigma \ast V^T$，其中 $\Sigma$是对角矩阵，其对角元素是$A$的奇异值。因此，$A^T\ast A=V\ast {\Sigma }^T\ast \Sigma \ast V^T$，而 ${\Sigma }^T\ast \Sigma$即是奇异值的平方构成的对角矩阵。

5. 迹的性质：由于 $A^T\ast A$是对称的，其迹（即对角元素之和）等于 $A$的奇异值的平方和，这也意味着迹是一个非负数，并且在某种意义上可以视为矩阵能量的度量。

使用LDLT分解来求解$Ax=b$。LDLT分解是一种分解对称或Hermitian矩阵的算法，特别适合于那些不完全正定但可进行三角分解的矩阵。它将矩阵分解为一个单位下三角矩阵 $L$（对角线元素为1）和一个对角矩阵 $D$的乘积，即 $A^{T}A=LD{L}^T$。以下是使用LDLT算法解线性方程组$Ax=b$或其最小二乘形式 $A^{T}Ax=A^{T}b$的步骤：

1. 构造并分解 $A^{T}A$:

   • 首先计算 $A^{T}A$，这是一个对称矩阵，适合进行LDLT分解。
   • 应用LDLT分解算法得到$A^{T}A=LD{L}^T$，其中 $L$是单位下三角矩阵（对角线上的元素全部为1；对角线右上方的所有元素均为0），$D$是对角矩阵。

2. 解两个三角系统:

   • 使用前向替换解 $Ly=A^{T}b$，其中 $L$是从$A^{T}A$的LDLT分解中获得的单位下三角矩阵，得到中间向量 $y$。
   • 接着解 $Dz=y$，这是一个简单的对角线系统，可以直接计算每个分量$z_i=\frac{y_i}{D_{ii}}$。
   • 最后，使用后向替换解 $L^{T}x=z$，得到最终的解向量$x$。