线性方程组求解

1.矩阵基本知识

（1）正交矩阵相乘仍然是正交矩阵

          A、B是正交矩阵,那么AA'=E BB'=E

         (AB)*(AB)'=AB*B'A'=A(BB')A'=AEA'=AA'=E

（2）一个矩阵乘以正交矩阵，范数不变

         ||Ux||^2=(Ux)^T(Ux)=x^TU^TUx=x^Tx=||x||^2

（3）一个矩阵乘以可逆矩阵秩不变

（4）初等变换只是不影响矩阵的秩，其他的特性都改变了。对于计算矩阵的行列式，不能进行初等变换，但是可以做行列的进             加减，不能乘以系数。

（5）矩阵的迹：矩阵的主对角线上各个元素的总和，是矩阵所有特征值的和

（6）对角矩阵的特征值是其对角线上的各个元素

（7）矩阵的秩等于非零奇异值的个数，等于非零特征值的个数

（8）任意矩阵都能进行奇异值分解，只有方阵才可以进行特征值分解

         特征值分解：

         如果一个向量 v 是方阵 A的特征向量，将可以表示成下面的形式： Av= λv，λ 称为特征向量 v 对应的特征值，并且一个矩           阵的 一组特征向量是一组正交向量。

        特征值分解：Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值

 

       奇异值分解：

      假设A是一个N * M的矩阵，U是一个N * N的方阵（正交矩阵），Σ 是一个N * M的矩阵（对角线上的元素为奇异值），VT是         一个M * M的矩阵（正交矩阵）

        特征值和奇异值的关系：

 

 

 

        （1）U 的列向量，是 AA^T 的特征向量；

         （2）V的列向量，是 A^TA 的特征向量；

          （3）A的奇异值（Σ 的非零对角元素）则是 AA^T 或者 A^TA 的非零特征值的平方根。

（9）秩与自由度（ 方阵A(n*n) ）

       矩阵的秩，指的是经过初等变换之后的非零行（列）的个数，若不存在零行（列），则为满秩矩阵（Rank(A)=n；关于矩阵         的秩的另一种理解：A矩阵将n维空间中的向量映射到k（k<=n）维空间中，k=Rank(A)

       矩阵（参数矩阵）的自由度，指的是要想求解出矩阵的所有元素至少需要列几个线性方程组。若矩阵本身带有 x 个约束，则         只需要列n*n-x个方程组即可求出所有参数，即矩阵A的自由度为n*n-x。

2.线性方程组求解

       齐次方程：Ax=0

      1. r(A)=未知数个数n（约束较强），该解空间只含有零向量

      2.r(A)<未知数个数n（约束不够），由齐次线性方程组解空间维数 = n - r(A) >0，所以该齐次线性方程组有非零解，而且不唯          一，存在一个基础解系（基础解系中的向量个数为 n - r(A)个)。

        非齐次方程： AX=B
     （1）R(A)< r(A|B),方程组无解 
     （2）r(A)=r(A|B)=n,方程组有唯一解 
     （3）r(A)=r(A|B) < n,方程组有无穷解 
     （4）r(A)>r(A|B),这种情况不存在 
     其中r()代表矩阵的秩，A|B是增广矩阵，n是X未知数个数。

    QR分解

       矩阵的QR分解是指，可以将矩阵A分级成一个正交阵Q和一个上三角矩阵R的乘积。实际中，QR分解经常被用来解线性最小         二乘问题。

       

            对于非方阵的m∗n(m≥n)m∗n(m≥n)阶矩阵A也可能存在QR分解。这时Q为m*m阶的正交矩阵，R为m*n阶上三角矩阵。           这时的QR分解不是完整的(方阵)，因此称为约化QR分解(对于列满秩矩阵A必存在约化QR分解)。同时也可以通过扩充矩阵A         为  方阵或者对矩阵R补零，可以得到完全QR分解。

     SVD分解

      奇异值分解：

      假设A是一个N * M的矩阵，U是一个N * N的方阵（正交矩阵），Σ 是一个N * M的矩阵（对角线上的元素为奇异值），VT是        一个M * M的矩阵（正交矩阵）

        特征值和奇异值的关系：

 

 

 

        （1）U 的列向量，是 AA^T 的特征向量；

         （2）V的列向量，是 A^TA 的特征向量；

          （3）A的奇异值（Σ 的非零对角元素）则是 AA^T 或者 A^TA 的非零特征值的平方根。

     SVD分解解满秩（亏秩）最小二乘问题 

    LDLT分解 
      对称矩阵A可以分解成一个下三角矩阵L（Lower下）和一个对角矩阵D（Diagonal对角线）以及一个下三角矩阵L的转置LT三       个矩阵相乘的形式。如下式 

     求解过程：

     Cholesky分解 
       Cholesky分解是LDLT分解的一种特殊形式，也就是其中的D是单位矩阵。正定对称矩阵 A可以分解成一个下三角矩阵L和这        个下三角矩阵L的转置LT相乘的形式。如下式 

      Cholesky分解解满秩最小二乘问题 ：

参考：

1.https://zhuanlan.zhihu.com/p/55567702

2. https://blog.csdn.net/wangshuailpp/article/details/80209863