矩阵分解（特征分解、SVD分解）

• 矩阵乘法：线性变换，对向量进行旋转和长度伸缩，效果与函数相同；
• 特征向量：指向只缩放不旋转的方向；
• 特征值：即缩放因子；
• 旋转矩阵无实数特征向量和特征值。

一、特征值和特征向量

1.1 定义

若对于N阶矩阵A，存在实数$\lambda$及非零向量$\mathbf{x}$，满足$\mathbf{Ax}=\lambda \mathbf{x}$，则称$\lambda$是A的特征值，非零向量$\mathbf{x}$是A的特征向量。

1.2 几何意义

对于一个n维的向量x，左乘一个n阶的方阵A得到Ax，从几何意义理解，是对x进行了线性变换，变换之后的向量y和原向量x的方向和长度都发生了变化。但是对于特定的矩阵A，总存在一些特定方向的向量x，使得Ax的方向不发生变化，只是长度发生变化。令这个长度发生的变化作为系数$\lambda$，那么这样的非零向量就称为矩阵A的特征向量，$\lambda$就是这个特征向量对应的特征值。例如：
$$A=\left[\begin{array}{c}21\\ 12\end{array}\right]\mathbf{x}={\left[01\right]}^T$$
则有：
$$A\mathbf{x}=\left[\begin{array}{c}1\\ 2\end{array}\right]$$
可见，向量x左乘矩阵A之后，长度和方向均发生了变化。然而$\lambda \mathbf{x}$只是长度改变，方向不发生变化。

1.3 求解过程

求解特征值和特征向量的过程就是齐次线性方程组求非零解的过程：$(A-\lambda \mathbf{I})\mathbf{x}=0$。齐次线性方程组若要存在非零解，那么需要系数行列式$|A-\lambda \mathbf{I}|$不为零，也就是系数矩阵$A-\lambda \mathbf{I}$的秩小于n。
 

线性代数精华——矩阵的特征值与特征向量

如何求矩阵的特征值和特征向量_是可帅鸭的博客-CSDN博客

线性代数学习笔记(二十八)——齐次方程组的解_齐次线性方程组_雏鹰高飞的博客-CSDN博客

求解矩阵特征值及特征向量 - Peyton_Li - 博客园

1.4 性质

（1）矩阵的迹=特征值之和
$$tr(A)={\lambda }_1+{\lambda }_2+...+{\lambda }_n$$
（2）矩阵的行列式=特征值之积
$$det(A)={\lambda }_1{\lambda }_2...{\lambda }_n$$

二、矩阵运算

2.1 余子式

余子式$M_{ij}$是指去掉第i行以及第j列，剩下的n-1阶行列式。

2.2 代数余子式

2.3 伴随矩阵

伴随矩阵由各个元素的代数余子式构成。

2.4 计算逆矩阵

2.4.1 伴随矩阵法

2.4.2 初等变换法

三、矩阵分解

矩阵分解常用的方法：特征值分解（Eigen Decomposition）、奇异值分解SVD（Singular Value Decomposition）、主成分分析（Principal Component Analysis）、Funk-SVD（Simon Funk SVD）。特征值分解仅限于矩阵为方阵的情况，当矩阵不为方阵时，可使用奇异值分解SVD。

3.1 特征分解（ED）

特征值分解，就是将矩阵分解成特征值和特征向量的形式，通过特征值和特征向量可以重构该矩阵。第一节中介绍了特征值和对应的特征向量的计算方式，现在直接利用特征值和特征向量，来恢复矩阵A。
$$\mathbf{A}=\mathbf{W}\mathbf{\Sigma }{\mathbf{W}}^{-1}$$
其中W是矩阵A的特征向量组成的矩阵，$\mathbf{\Sigma }$是一个对角阵，对角线上的元素就是特征值。特征值分解可以得到特征值和特征向量，特征值表示这个特征到底有多重要，特征向量表示这个特征是什么。可以将每个特征向量理解为一个线性的子空间，可以利用这些线性子空间做很多事情。

比如上面 1.3 节中的矩阵 A 可表示为：

如何求矩阵的特征值和特征向量_是可帅鸭的博客-CSDN博客

3.2 奇异值分解（SVD）

3.2.1 如何计算？

$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{-1}$$

其中，U为$m\ast m$的矩阵，称为A的左奇异矩阵；$\mathbf{\Sigma }$是$m\ast n$的矩阵，除了主对角线上元素为矩阵A的奇异值之外，其他元素都是0；V为$n\ast n$的矩阵，称为A的右奇异矩阵。U和V都是酉矩阵，即满足：${\mathbf{U}}^{\mathbf{T}}\mathbf{U}=\mathbf{I}$、${\mathbf{V}}^{\mathbf{T}}\mathbf{V}=\mathbf{I}$。

• $\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$的特征向量构成A的左奇异矩阵$\mathbf{U}$；

• ${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征向量构成A的右奇异矩阵$\mathbf{V}$；

• ${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征值的平方根构成奇异值矩阵$\mathbf{\Sigma }$。
  
  

3.2.2 例题

则有：

（四）矩阵的特征分解与奇异值分解(SVD)

3.2.3 物理意义

矩阵的物理意义就是空间变换，SVD的物理意义就是分解 —— 将一个复杂的转换过程分解为三个简单的基本变换（旋转、伸缩、旋转）。奇异值的大小表征了相应奇异向量的伸缩程度（可以理解为权重），奇异值越大，对应的奇异向量对最终结果影响越大。奇异值矩阵有几个非零奇异值，则矩阵A就是秩几矩阵。（可用于图像压缩、去噪）

其中，${\mathbf{u}}_1$为$\mathbf{U}$第一列，${\mathbf{v}}_1$为$\mathbf{V}$第一行。（将三个矩阵拆开即可证明）
 

奇异值的物理意义是什么? - 知乎

3.3 应用

• 降维；（左奇异矩阵通常用于行数压缩；右奇异矩阵通常用于列数（即维数）压缩，也就是PCA降维原理）
• 图像压缩；
• 图像去噪；

【《数学之美》笔记（一）】奇异值分解(SVD)的原理、演算和应用

 
（本文完整的pdf请关注公众号“张张学算法”，并回复“019”获取~）