机器学习常见求逆矩阵的方法

机器学习的常见求解逆矩阵的方法

• 高斯消元法
• LU分解法
• SVD分解法
• QR分解法

高斯消元法

高斯消元法是最经典也是最广为人知的一种矩阵求逆方法，但是在现实应用中很少用到高斯消元法来进行矩阵的逆矩阵的求解。
通常它是一种行列变换，主要的操作方法如下：

LU分解法

LU分解法其实是高斯消元法的一种变种算法。LU分解是将矩阵A分解为一个下三角矩阵与一个上三角矩阵的乘积。
主要是如下表示：
        A = L U
        A^-1 = L^-1 U ^-1
 
虽然LU分解是高斯消元法的一种表现形式，但是相对于高斯消元法，LU分解更易于实现并行化。

SVD分解法

这种分解方法也被称为矩阵奇异值分解，它是线性代数中十分重要的分解矩阵的方法。它主要是把矩阵A分解为三个矩阵相乘的形式。如下：
         A = USV^T
         A^-1 = V W^-1 U ^T
U 矩阵的列被称为A 的左奇异向量，W 矩阵中的对角值被称为原始矩阵，奇异值V 的列被称为 A的右奇异向量。

QR分解法

QR分解同样将原始矩阵A分解为两个矩阵的乘积，不同的是这两个矩阵分别为正交矩阵Q和上三角矩阵R。
主要表达形式:
      A = QR
      A^-1 = Q^-1 R^-1

这里就是主要几种的求逆矩阵的方法，在我们机器学习编程中可以使用相应的函数来帮我们实现这些功能。

  

本文章属于个人学习笔记，来自于平时归纳。