视觉SLAM中的数学——解方程AX=b与矩阵分解：奇异值分解（SVD分解）特征值分解 QR分解三角分解 LLT分解

最新推荐文章于 2024-10-12 17:27:16 发布

Manii

最新推荐文章于 2024-10-12 17:27:16 发布

阅读量7.6k

点赞数 24

分类专栏：视觉SLAM 文章标签：最小二乘矩阵分解 SVD

本文链接：https://blog.csdn.net/qq_41839222/article/details/96274251

版权

视觉SLAM 专栏收录该内容

10 篇文章 15 订阅

订阅专栏

前言

本博客主要介绍在SLAM问题中常常出现的一些线性代数相关的知识，重点是如何采用矩阵分解的方法，求解线性方程组AX=B。主要参考了《计算机视觉——算法与应用》附录A以及Eigen库的方法。本博客可能不会对分解讲的特别深入，主要是想弄清楚各个分解的条件、分解结果以及应用（或特点）。

包括：
1、三角分解（LU分解）
2、LDLT分解与LLT分解（Cholesky分解）
3、QR分解
4、奇异值分解（SVD分解）
5、特征值分解

在矩阵分解之前

为什么要进行矩阵分解

1、矩阵分解可以在一定程度上降低存储空间，可以大大减少问题处理的计算量（如对一个矩阵进行求逆、求解方程组等），从而高效地解决目标问题。
2、矩阵分解可以提高算法的数值稳定性。

矩阵与矩阵分解的几何意义

在矩阵分解中，我们常常期望将矩阵分解成正交矩阵、对角矩阵以及上三角（下三角）矩阵的乘积。以三维矩阵为例，一个普通矩阵的几何意义是对坐标进行某种线性变换，而正交矩阵的几何意义是坐标的旋转，对角矩阵的几何意义是坐标的缩放，三角矩阵的几何意义是对坐标的切边。因此对矩阵分解的几何意义就是将这种变换分解成缩放、切边和旋转的过程。

常用矩阵分解

LU三角分解

三角分解又称为LU分解或LR分解，是将原正方（square）矩阵分解成一个上三角矩阵和一个下三角矩阵。

$A = L D U = L (D U) = (L D) U$

其中L是单位下三角矩阵，D是对角矩阵，U是单位上三角矩阵。

三角分解的主要用途在于简化一个大矩阵行列式值计算过程，或求解方程组（即高斯消元法）等。

LDLT分解

为A为对称矩阵，且任意一K阶主子阵均不为0时，A有如下唯一的分解形式：
$LDL^T=\left(\begin{array}{ccc}{1} & {0} & {0} \\ {L_{21}} & {1} & {0} \\ {L_{31}} & {L_{32}} & {1}\end{array}\right)\left(\begin{array}{ccc}{D_{1}} & {0} & {0} \\ {0} & {D_{2}} & {0} \\ {0} & {0} & {D_{3}}\end{array}\right)\left(\begin{array}{ccc}{1} & {L_{21}} & {L_{31}} \\ {0} & {1} & {L_{32}} \\ {0} & {0} & {1}\end{array}\right)$

即L为下三角单位矩阵，D为对角矩阵。LDLT方法实际上是Cholesky分解法的改进（LLT分解需要开平方），用于求解线性方程组。

LLT分解（Cholesky分解）

LLT分解即矩阵的Cholesky分解，又被称为平方根分解，是LDLT分解的一种特殊形式，即其中的D为单位矩阵。
对称正定矩阵A可以分解成一个下三角矩阵L和L的转置LT相乘的形式：

$A = LL^T = R^T R$

其中的L是下三角矩阵，R是上三角矩阵。
（正定要求矩阵的所有特征值必须大于0，因此分解的下三角对角元也是大于0的）

LLT分解常用于求解最小二乘问题中的 $A^TAx = A^Tb$ 。
令 $C=A^TA=R^R$ ，又有 $d=A^Tb$ ,
因子经过因子分解后，x可以通过解下面的方程获得，即只需求解两个三角系统，通过一系列前向和后向迭代运算。

$R^Tz= d,Rx=z$

LLT分解的总操作数为 $O(N^2)$ ，对于系数矩阵来说操作数会大大降低。

QR分解

如果A是mxn实（复）矩阵，且其n个列线性无关，则A有分解：
$A = Q R$

其中Q是正交矩阵（或酉矩阵）， $QQ^T =1$ ，R是上三角矩阵。

QR分解有三种常用方法：Givens 变换、Householder 变换，以及 Gram-Schmidt正交化。

QR分解是一项广泛用于稳定求解病态最小二乘问题的方法，也是一些更复杂算法的矩阵，如计算SVD及特征值分解。在计算机视觉中，QR分解可以用于将相机矩阵转换为一个旋转矩阵和一个上三角的标定矩阵。

奇异值分解

设A是一个mxn的矩阵，则存在一个分解的m阶正交矩阵U、非负对角阵Σ和n阶正交矩阵V：
$V^{\mathrm{T}}=U\left[\begin{array}{cc}{\Sigma} & {0} \\ {0} & {0}\end{array}\right] V^{\mathrm{T}}$

其中 $Σ=diag(\sigma_1,\sigma_2,...,\sigma_r)$ ， $\sigma$ 为矩阵A的全部非零奇异值，且一般我们会将Σ的值从大到小排序。奇异值分解的一个重要性质是：在实际大多数情况中，奇异值 $\sigma$ 减小的速度特别快，因此可以使用前r个奇异值来对矩阵做近似（即丢弃U和V的后几列），将获得原始矩阵A在最小二乘意义下的最佳逼近。