矩阵分解相关知识回顾

大学线性代数课程中我们学习了很多关于矩阵分解的方法，这些在概率统计、统计机器学习等方面都有很多应用。

特征值与特征向量

设A是数域F上的n阶矩阵，如果存在数域F中的一个数λ与数域上F的非零向量$\overrightarrow{\alpha}$，使得：
$A\overrightarrow{\alpha}=\lambda \overrightarrow{\alpha}$
则称λ为A的一个特征值(根)(eigenvalue)，称$\overrightarrow{\alpha}$为A的属于特征值λ的特征向量(eigenvector)。

显然从上式可以看出，$A\overrightarrow{\alpha} \overrightarrow{\alpha}$平行。

将上式做一下变换：
$A\overrightarrow{\alpha}=λ\overrightarrow{\alpha}$
$A\overrightarrow{\alpha}-λ\overrightarrow{\alpha}=0$
$A\overrightarrow{\alpha}-λE\overrightarrow{\alpha}=0$
$(A−λE)\overrightarrow{\alpha}=0$
$(λE-A)\overrightarrow{\alpha}=0$

称：
λE−A为A的特征矩阵
行列式$f(λ)=|λE−A|$为A的特征多项式
$|λE−A|=0$为A的特征方程
$(λE−A)\overrightarrow{x}=\overrightarrow{0}$是A关于该λ的齐次线性方程组

矩阵对角化

设n阶方阵A存在n个线性无关的特征向量$\overrightarrow{x_{i}}$，将这n个特征向量$\overrightarrow{x_{i}}$组成方阵S(也称为特征向量矩阵），则有：

这个式子称为A的$SΛS^{−1}$分解，或特征分解(Eigendecomposition)，或A的对角化。

根据这个式子可以知道：当方阵A可以被分解为某个矩阵S乘以某个对角矩阵Λ再乘以矩阵$S^{−1}$时，就是一次特征分解。

可以对角化的前提是A有n个线性无关的特征向量。A有n个线性无关的特征向量的前提是，所有的λλ都不重复（没有重根）。

LU分解

设A是一个方块矩阵。A的LU分解是将它分解成如下形式：
$A=LU$
其中L和U分别是下三角矩阵和上三角矩阵。
例如对于一个 $3*3$的矩阵，就有

一个LDU分解是一个如下形式的分解：
$A=LDU$
其中D是对角矩阵，L和U是单位三角矩阵（对角线上全是1的三角矩阵）。
一个LUP分解是一个如下形式的分解：
$A=LUP$
其中L和U仍是三角矩阵，P是一个置换矩阵。
一个充分消元的LU分解为如下形式：
$PAQ=LU$

存在性

一个可逆矩阵可以进行LU分解当且仅当它的所有子式都非零。如果要求其中的L矩阵（或U矩阵）为单位三角矩阵，那么分解是唯一的。同理可知，矩阵的LDU可分解条件也相同，并且总是唯一的。

奇异值分解

假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得
$M=UΣV^{*}$
其中U是m×m阶酉矩阵；Σ是m×n阶非负实数对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。

几何解释

首先，我们来看一个只有两行两列的简单矩阵。第一个例子是对角矩阵

从几何的角度，矩阵可以描述为一个变换：用矩阵乘法将平面上的点（x, y）变换成另外一个点（3x, y）：

这种变换的效果如下：平面在水平方向被拉伸了3倍，在竖直方向无变化。

2*2矩阵奇异值分解的几何实质是：对于任意2*2矩阵，总能找到某个正交网格到另一个正交网格的转换与矩阵变换相对应。

用向量解释这个现象：选择适当的正交的单位向量$v_1$和$v_2$，向量$Mv_1$和$Mv_2$也是正交的。

奇异值分解的魅力在于任何矩阵都可以找到奇异值。

参考链接：
[1].http://www.ams.org/samplings/feature-column/fcarc-svd
[2].https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html