矩阵的特征值分解与奇异值分解

部分转自http://blog.csdn.net/lipengcn/article/details/51992766

特征分解（Eigendecomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

令  A  是一个  N×N 的方阵 ，且有  N  个 线性无关 的 特征向量  。这样，  A  可以被分解为 ， 其中  Q  是 N × N 方阵，且其第  i 列为  A  的 特征向量  。  Λ  是 对角矩阵 ，其对角线上的元素为对应的特征值，也即     。这里需要注意只有 可对角化矩阵 才可以作特征分解。

对特殊矩阵的特征分解

• 对称矩阵： 任意的  N × N   实对称矩阵都有 N 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 A 可被分解成  ， 其中  Q  为  正交矩阵 ，  Λ  为实 对角矩阵 。

• 正规矩阵： 类似地，一个复正规矩阵具有一组正交 特征向量 基，故正规矩阵可以被分解成  ， 其中  U  为一个 酉矩阵。进一步地，若 A 是埃尔米特矩阵，那么对角矩阵 Λ 的对角元全是实数。若 A 还是酉矩阵，则 Λ 的所有对角元在复平面的单位圆上取得。
• 
  

奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。谱分析的基础是对称阵特征向量的分解，而奇异值分解则是谱分析理论在任意矩阵上的推广。

假设M是一个 m×n阶矩阵 ，其中的元素全部属于域 K，也就是 实数域 或复数域。如此则存在一个分解使得 ， 其中U是m×m阶 酉矩阵 ；Σ是半正定m×n阶对角矩阵；而V*，即V的 共轭转置 ，是n×n阶 酉矩阵 。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi，其中i即为M的奇异值。

奇异值分解可以被用来计算矩阵的伪逆。若矩阵  M 的奇异值分解为  ，那么  M 的伪逆为  。 其中   是   的伪逆，并将其主对角线上每个非零元素都求倒数之后再转置得到的。求伪逆通常可以用来求解 线性最小平方、最小二乘法 问题。

矩阵的特征值分解与奇异值分解的几何意义

1、首先，矩阵可以认为是一种线性变换：确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b，这个过程中，线性变换的作用包含三类效应：旋转、缩放和投影。

2、奇异值分解体现了对线性变换这三种效用的一个析构。 

在中，U的列向量组成了一组标准正交基，V的列向量也是，这表示我们找到了U和V这两组基，A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间，并对每个方向做一定的缩放，缩放因子就是Σ中的各个奇异值，同时如果V的维度比U大，那么这个过程还包含了投影。 

可见SVD将一个矩阵原本混合在一起的三种作用效果给分离了开来。

3、特征值分解则是对旋转和缩放两种效应的归并。因为特征值分解中的A为方阵，显然是不存在投影效应的。 
特征值和特征向量由得到。即对于一个处于A的特征向量x方向上的向量v而言，Av对v的线性变换作用则只表现在缩放上。或者说，我们找到了一组基（特征向量们），在这组基下，矩阵的作用效果仅仅是缩放。 
当A为实对称矩阵时，特征向量之间是相互正交的，可以将上式写作，这样看形式和SVD类似，即矩阵A将一个向量从x这组基的空间旋转到x这组基的空间上，并在每个方向进行了缩放，由于前后两组基都是x，即没有进行旋转和投影。