特征分解的推导与意义与opencv代码

特征值与特征向量

定义：$A\vec{x}=\lambda \vec{x}$ 则称$\lambda$为矩阵A的特征值，$\vec{x}$称为$\lambda$对应的特征向量。
假设A是一个可对角化的矩阵，并且具有n个线性独立的特征向量$P=[\overrightarrow{P_1}\overrightarrow{P_2}\overrightarrow{P_3}\dots \overrightarrow{P_n}]$,对应的特征值为$\Lambda =\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]$, 可以将$\vec{y}=A\vec{x}$进行这样的理解

由于P由n个线性独立的向量组成，所以$\vec{x}$肯定可以表示再P的基底下，即$$\vec{x}=I\vec{x}=a1\overrightarrow{P_1}+a2\overrightarrow{P_2}+\dots +an\overrightarrow{P_n}=P\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]$$
则
$$\begin{gathered} \vec{y}=A\vec{x}=AP\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right] \\ =[A\overrightarrow{P_1}A\overrightarrow{P_2}A\overrightarrow{P_3}\dots A\overrightarrow{P_n}]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right] \\ =a_1{\lambda }_1\overrightarrow{P_1}+a_2{\lambda }_2\overrightarrow{P_2}+\dots +a_n{\lambda }_n\overrightarrow{P_n} \end{gathered}$$
可以看到矩阵A的作用就是在以P为基的情况下，将在各个P轴分量上的值拉伸$\lambda$倍。

例子
假设$A=\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right],\vec{x}=[11{]}^T$
则$P_1=[10{]}^T,{\lambda }_1=3$ $P_2=[01{]}^T,{\lambda }_2=1$,
此时的P=E，则正好在E的基底下，就是在P的基底下，则$\vec{y}=A\vec{x}$得到的结果就是将在$[10{]}^T$分量上的值即x拉伸${\lambda }_1=3$倍;在$[01{]}^T$分量上的值即y拉伸${\lambda }_2=1$倍,即$\vec{y}=[31{]}^T$,可以直接运算进行验证。
在图片上表示则是

特征分解

由之前的推导可以看到
矩阵A的作用与在各个特征向量方向上进行特征值($\lambda$)倍拉伸的作用是一样的。
既然如此，我们在进行运算$\vec{y}=A\vec{x}$可以将矩阵A等价于三部分的功能

1. 将$\vec{x}$从I的基底下，表示成在P的基底下。
2. 将已经转换成P基底的$\overrightarrow{x_p}$的各个分量进行$\lambda$倍的拉伸。
3. 将拉伸后的$\overrightarrow{x_p}$转换回I的基底下$\vec{x}$。

特征分解做的正是以上的三件事
先来看下怎么换基底

$$\vec{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=I\vec{x}=a1\overrightarrow{P_1}+a2\overrightarrow{P_2}+\dots +an\overrightarrow{P_n}=P\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]$$
我们的目标就是将$\vec{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$转换成$\overrightarrow{x_p}=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]$
我们先逆过来讨论，怎么将$\overrightarrow{x_p}$转化成$\vec{x}$,再上面的推导中，可以看到$\vec{x}=P\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]=P\overrightarrow{x_p}$
只要将P乘上$\overrightarrow{x_p}$即可以得到$\vec{x}$,即$\vec{x}=P\overrightarrow{x_p}$
那我们要得到$\overrightarrow{x_p}$只需要两边同时乘上$P^{-1}$，即$\overrightarrow{x_p}=P^{-1}\vec{x}$

那么第一步的操作便是等价于$P^{-1}$，第三步的操作便是等价于$P$
接下来看第二步的拉伸操作

$\left[\begin{array}{c}{a}_1{\lambda }_1\\ a_2{\lambda }_2\\ ⋮\\ a_n{\lambda }_n\end{array}\right]=\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]=\Lambda \left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]$

即第二步的拉伸操作等价于$\Lambda$
将以上的三步组合起来，即可以得到特征分解的公式，即$$A=P\Lambda P^{-1}$$
注意：
1.不是所有的矩阵都可以对角化
2.实对称阵都可以对角化，并且P是正交矩阵，此时公式可以简化为$A=P\Lambda P^T$
3.可以对角化的情况下，P不一定是正交矩阵

接下来看一下对图片使用特征分解的效果

#include <iostream>
#include <opencv2/opencv.hpp>
using namespace std;
using namespace cv;
int main(int argc, char const* argv[])
{
    if (argc != 2) {
        cout << "error" << endl
             << "./matrixFeature pic" << endl;
        return -1;
    }
    Mat pic = imread(argv[1], CV_LOAD_IMAGE_GRAYSCALE);
    pic.convertTo(pic, CV_64FC1, 1 / 255.0);
    resize(pic, pic, cv::Size(pic.rows, pic.rows));
    Mat eValuteM;
    Mat eVectorsInvM;
    Mat eVectorsM;
    eigen(pic, eValuteM, eVectorsM);
    eVectorsM = eVectorsM.t();
    eVectorsInvM = eVectorsM.t(); //如果不是正交矩阵的话，要用inv
    Mat diag(eValuteM.rows, eValuteM.rows, CV_64FC1);
    diag = 0;
    for (int i = 0; i < diag.rows; i++) {
        diag.at<double>(i, i) = eValuteM.at<double>(i, 0);
    }
    Mat res;
    res = eVectorsM * diag * eVectorsInvM;
    imshow("the spirit of strom", pic);
    imshow("evd", res);
    waitKey(0);
}

原图

由于图片不是实对称矩阵，使用eigen函数，只能接受对称矩阵，强行使用的结果是得到一张对关于对角线对称的图片

opencv提供了另一个函数eigenNonSymmetric可以对非对称矩阵求特征向量，但是有特征向量不一定满足对角化的要求，如果强行进行evd分解再重构，效果是这样的

图片明显效果不好，但是有些部分还是可以看出来和原图有些地方是一样的。

关于特征分解的推广（SVD分解可以看我的另一篇文章）
奇异值分解的理解与oepncv代码
参考连接：
如何理解特征值和特征向量