机器学习的常见求解逆矩阵的方法
- 高斯消元法
- LU分解法
- SVD分解法
- QR分解法
高斯消元法
高斯消元法是最经典也是最广为人知的一种矩阵求逆方法,但是在现实应用中很少用到高斯消元法来进行矩阵的逆矩阵的求解。
通常它是一种行列变换,主要的操作方法如下:
LU分解法
LU分解法其实是高斯消元法的一种变种算法。LU分解是将矩阵A分解为一个下三角矩阵与一个上三角矩阵的乘积。
主要是如下表示:
A = L U
A-1 = L-1 U -1
虽然LU分解是高斯消元法的一种表现形式,但是相对于高斯消元法,LU分解更易于实现并行化。
SVD分解法
这种分解方法也被称为矩阵奇异值分解,它是线性代数中十分重要的分解矩阵的方法。它主要是把矩阵A分解为三个矩阵相乘的形式。如下:
A = USVT
A-1 = V W-1 U T
U 矩阵的列被称为A 的左奇异向量,W 矩阵中的对角值被称为原始矩阵,奇异值V 的列被称为 A的右奇异向量。
QR分解法
QR分解同样将原始矩阵A分解为两个矩阵的乘积,不同的是这两个矩阵分别为正交矩阵Q和上三角矩阵R。
主要表达形式:
A = QR
A-1 = Q-1 R-1
这里就是主要几种的求逆矩阵的方法,在我们机器学习编程中可以使用相应的函数来帮我们实现这些功能。