奇异值分解的理解与oepncv代码

最新推荐文章于 2021-12-24 18:54:55 发布

置顶 Dang_boy

最新推荐文章于 2021-12-24 18:54:55 发布

阅读量624

点赞数

分类专栏： SLAM 文章标签： SVD 奇异值分解理解图片 opencv

本文链接：https://blog.csdn.net/Dang_boy/article/details/85118516

版权

SLAM 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

特征分解的缺点

特征分解的推导与意义与opencv代码在上一篇博客中介绍了特征分解的原理和推导，特征分解在一定的情况下可以很好的分解（实对称矩阵），但是也有很大的局限性

1. 只能对可对角化的方阵使用
2. 在可以对角化的情况下，特征向量之间也不一定相互正交

为了克服这些缺点，我们便在寻找对一个任意的M*N的矩阵都能找到一个类似特征分解的公式（以下的是我的理解，如果有错欢迎指出）：

1.特征分解所干的事情：将在以I为基底的情况下，转换到以特征向量为基底的表示方法，并且将之在特征向量的方向上进行特征值倍的拉伸，最终再转换回以I为基底的表示方法。换一个说法就是一个可以对角化的矩阵A的作用便是：对一个基底进行拉伸，即 $AP=P\Lambda$ 。
2.我们在寻找的对任意矩阵都适用的类似的方法：由于不是所有矩阵都可以找到一个基底，并且对这个基底进行拉伸一定倍数便等于A的效果，例如，P不存在逆的情况。此时我们的目标变成将在以I为正交基底的情况下，转换到另一个正交基底，再拉伸一定倍数再旋转一定的角度（在特征分解里映射到原来的基底I可以看成是旋转一个比较特殊的角度)，所产生的效果和与矩阵A直接相乘的效果是一样的。换一个说法就是将一个单位正交基底经过A的映射到另一个正交基底，将拉伸的倍数提取出来，使新基底仍然是单位基底。

PS：第一种说法是我根据特征分解的思路去理解svd分解每个矩阵代表的意义，第二种说法是根据另一篇博客的证明思路去理解的。我不知道两种思路是否都正确，欢迎指出错误。

第一种思路 $A=U\Sigma V^T$ :从右到左，第一个矩阵代表将从基底I转换到基底V，第二个矩阵代表在V基底下的一定的拉伸，U是一个单位正交矩阵（因为旋转矩阵一定是单位正交矩阵，但是单位正交矩阵是否是旋转矩阵我不确定，假设是吧），那么U的作用便是一个旋转。
举个例子来验证我的思路（如果不知道SVD具体的公式的话，可以先看下面的推导再回来看这部分的验证），不认识旋转矩阵可以戳这里,假设我将在I基底下的一个变量 $\vec{x}$ 在x方向拉伸a倍，在y方向拉伸b倍，再绕着z轴旋转 $\theta$ ,那么对应的变换应该是
$\begin{bmatrix} cos\theta & -sin\theta \\ sin\theta & cos\theta \\ \end{bmatrix} \begin{bmatrix} a & 0 \\ 0 & b \\ \end{bmatrix}[x \ y]^T$
将左侧的矩阵合成一个变换
$T=\begin{bmatrix} cos\theta & -sin\theta \\ sin\theta & cos\theta \\ \end{bmatrix} \begin{bmatrix} a & 0 \\ 0 & b \\ \end{bmatrix}= \begin{bmatrix} acos\theta & -bsin\theta \\ asin\theta & bcos\theta \\ \end{bmatrix}$
如果我们的理解是正确的化，那么对T矩阵进行SVD分解，得到的结果应该是
$T=U\Sigma V^T=\begin{bmatrix} cos\theta & -sin\theta \\ sin\theta & cos\theta \\ \end{bmatrix} \begin{bmatrix} a & 0 \\ 0 & b \\ \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 0 & 1 \\ \end{bmatrix}$
接下来进行验证
$T^TT=\begin{bmatrix} acos\theta & asin\theta \\ -bsin\theta & bcos\theta \\ \end{bmatrix}\begin{bmatrix} acos\theta & -bsin\theta \\ asin\theta & bcos\theta \\ \end{bmatrix}=\begin{bmatrix} a^2 & 0 \\ 0 & b^2 \\ \end{bmatrix}$
容易计算得到，特征值与特征向量为( $\lambda_1=a^2,v_1=[1 \ 0]^T;\lambda_2=b^2,v_2=[0 \ 1]^T$ )
可以看到 $V=\begin{bmatrix} 1 & 0 \\ 0 & 1 \\ \end{bmatrix}$ , $\Sigma=\begin{bmatrix} a & 0 \\ 0 & b \\ \end{bmatrix}$ ,
$U=TV\begin{bmatrix} \frac{1}{a} & 0 \\ 0 & \frac{1}{b} \\ \end{bmatrix}= \begin{bmatrix} acos\theta & -bsin\theta \\ asin\theta & bcos\theta \\ \end{bmatrix}\begin{bmatrix} \frac{1}{a} & 0 \\ 0 & \frac{1}{b} \\ \end{bmatrix} =\begin{bmatrix} cos\theta & -sin\theta \\ sin\theta & cos\theta \\ \end{bmatrix}$
验证正确。
第二种思路 $AV=U\Sigma$ :等式左边是一个正交基底，经过A的转换到另一个正交基底，同时把拉伸倍数提取出来，则成为了 $\Sigma$ 。从这个角度来说，应该是任何一个矩阵的作用都是对某个基底旋转加拉伸，而可对角化的矩阵的作用刚好是拉伸而并不旋转。

其实svd正是在做这么一件事情，以下的推导用第二种思路（毕竟是看别人博客的）。

奇异值分解（SVD）

将奇异分解所做的事情写成数学表达式，即为 $AV=U\Sigma$ V是一个正交基底，U也是一个正交基底， $\Sigma$ 是一个对角阵，对角线上的值为U里的每个列向量的拉伸倍数。我们的目标就是找到 $V,U,\Sigma$ 这个三个矩阵。
接下来寻找一下这三个矩阵

1. 具体怎么选取正交基底V我也不太清楚，不过前人已经帮我们找到了，就是 $A^TA$ 的单位特征向量
$V=[v_1 \ v_2 …\ v_3]$ （ $A^TAv_j=\lambda_j v_j，|v_i|=1$ ）,并且各个列向量都是正交的(因为 $A^TA$ 是一个实对称阵），即 $v_i^Tv_j=0$
2. 则A矩阵会将这组基底映射成 $AV=[Av_1 \ Av_2…Av_n]$ ,映射后的各个列向量依然是正交的，即 $(Av_i)^T(Av_j)=v_i^TA^TAv_j=\lambda_j v_i^T v_j=0$
3.到此，我们已经证明了AV的基底也是正交的，即U的每一列都是正交的，即 $u_i^Tu_j=0。$ 接下来是将U给单位化，因为我们的目的是得到单位正交基底。
已知 $Av_i)^T(Av_i)=| Av_i |^2$
又 $(Av_i)^T(Av_i)=v_i^TA^TAv_i=\lambda_i v_i^T v_i=\lambda_i$
可以得到 $Av_i |=\sqrt{\lambda_i}=\sigma_i$
则令 $Av_i=\sigma_iu_i$ （由于 $Av_i$ 的模长与 $\sigma$ 相等，则 $u_i$ 一定为与 $Av_i$ 同方向的单位向量）,可以解得 $u_i=\frac{1}{\sigma_i}Av_i$

将上面的内容整理一下便得到了svd分解的公式 $A=U\Sigma V^T$
其中V为 $A^TA$ 的特征向量所组成的矩阵， $\Sigma$ 是一个对角阵，且对角线上的值为 $\sqrt{\lambda_i}$ , $U=[u_1 u_2…u_n]$
如果A是一个m×n的矩阵，那么V是n×n的正交矩阵，U是m×m的正交矩阵， $\Sigma$ 是m×n的对角阵，多余的位置用0去补充。

虽然理论上来说，按照上面的计算来说，V是一个n×n的正交阵，U是一个m×n的矩阵， $\Sigma$ 是一个n×n的对角阵，但是定义上是把A当成一个m×n的矩阵，V当成一个n×n的矩阵， $\Sigma$ 当成一个 m×n的矩阵，这就导致需要进行一些操作了。
当m>n的时候需要给U补上m-n个列向量，理论上可以补0向量，但是会导致U不是正交矩阵，所以可以补上与其他向量正交的单位向量，在 $\Sigma$ 下面也要补上m-n行0
当m<n的时候，U要舍弃后面的n-m个列向量(其实那部分对应的特征值肯定为0), $\Sigma$ 则要舍弃后面n-m个行向量。

k=rank(A),则对 $A^TA$ 计算特征向量，会发现它只有k个特征值不为0（我不知道怎么证明，我猜得）
在这里插入图片描述

SVD用到图片上

对角阵 $\Sigma$ 的值代表的是每个方向上分量的值，明显值越大代表的影响就越大，一般来说如果将特征值按从大到小排列，那么前面的几个特征值已经占了绝大部分的能量，接下来用图片来展示，以下是opencv+c++代码

#include <iostream>
#include <opencv2/opencv.hpp>
using namespace std;
using namespace cv;
int main(int argc, char const* argv[])
{
    if (argc != 2) {
        cout << "error" << endl
             << "./matrixFeature pic" << endl;
        return -1;
    }
    Mat pic = imread(argv[1], CV_LOAD_IMAGE_GRAYSCALE);
    pic.convertTo(pic, CV_64FC1, 1 / 255.0);
    Mat w, U, Vt;
    SVD::compute(pic, w, U, Vt);
    Mat W(w.rows, w.rows, w.type(), cv::Scalar(0));
    for (int i = 0; i < w.rows; i++) {
        W.at<double>(i, i) = w.at<double>(i);
        Mat svd_pic = U * W * Vt;
        imshow("svd", svd_pic);
        cout << i * 1.0 / w.rows * 100 << "%" << endl;
        waitKey(30);
        waitKey(0);
    }
}

原图
在这里插入图片描述

一个奇异值的时候的效果
在这里插入图片描述
10%奇异值的效果

20%奇异值效果，可以看到20%效果已经挺不错了，就是噪点比较多
在这里插入图片描述
50%的奇异值已经是只有很细微的噪点了

PS：在用opencv或者Eigen求解矩阵A（m x n)的svd的时候会发现
设k=min{m,n},会发现 $V^T$ 的尺寸为k x n
U的尺寸为m*k， $\Sigma$ 是一个k x k的矩阵

其实本质上是一样的，只是没有补充成为上面规定的尺寸而已

参考：奇异值分解（SVD）原理

Dang_boy

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
奇异值分解的理解与oepncv代码

特征分解的缺点特征分解的推导与意义与opencv代码在上一篇博客中介绍了特征分解的原理和推导，特征分解在一定的情况下可以很好的分解（实对称矩阵），但是也有很大的局限性1. 只能对可对角化的方阵使用2. 在可以对角化的情况下，特征向量之间也不一定相互正交为了克服这些缺点，我们便在寻找对一个任意的M*N的矩阵都能找到一个类似特征分解的公式：先将在以I为正交基底的情况下，转换到另一个正交...
复制链接

扫一扫

专栏目录