特征值分解、奇异值分解、满秩分解与QR分解

先说一下向量和矩阵的一些几何意义。
（1）向量与实数相乘就是对向量做伸缩变换（很容易理解）；
（2）矩阵某种意义上就是一种变换，所以向量乘以矩阵就是对向量做某种变换，矩阵与该矩阵的特征向量相乘是对该向量的伸缩变换，与非特征向量相乘是旋转变换。

此外，从特征向量的定义公示AX=λX也可以得出矩阵与该矩阵的特征向量相乘是对该向量的伸缩变换，因为等式右边实数乘以向量等于对向量伸缩，所以左边意义也一样，即矩阵A的意义相当于一个实数。书上的定义应该是相反的，主体应该是特征向量X，而不是矩阵A。应该这么说比较好：有一个向量X，如果存在一个矩阵A，一个实数，使得AX=λX，那么X就成为A的特征向量，λ称为这个特征向量的特征值。
下面举个矩阵不是方阵的例子，看看有什么不一样
$$\left[\begin{array}{cc}1& 1\\ 1& 1\\ 1& 1\end{array}\right]\text{\hspace{1em}(1)}$$ $$\left[\begin{array}{c}A\\ B\end{array}\right]\text{\hspace{1em}(2)}$$ $$\left[\begin{array}{c}A+B\\ A+B\\ A+B\end{array}\right]\text{\hspace{1em}(3)}$$
很明显，原本2行的向量变成了3行，即向量的维度变了。所以，矩阵的存在意义就是把向量变换到矩阵每一行所表示的一个坐标轴上，如果刚好是方阵，则向量维度不变，比如n=2的方阵，则是在二维平面内换了向量的坐标而已。

先说一下特征值分解。适用于矩阵是方阵的情况。


发现一个矩阵经过特征值分解，最后可以变成一个特征值和特征向量相乘后累加的情况。而矩阵是一个变换（等式左边），也就是说这一个变换等于很多个变换之和（等式右边）。（考虑特征向量之间的相关性，有可能这个变换不是单纯的伸缩之和，后面补充）