矩阵的特征值分解与奇异值分解

工业交换机

已于 2022-03-20 10:26:59 修改

阅读量1.2k

点赞数 1

文章标签：矩阵线性代数机器学习

于 2022-03-18 11:19:59 首次发布

本文链接：https://blog.csdn.net/menteei/article/details/123567223

版权

本文详细介绍了矩阵的特征值与特征向量的概念，指出特征值表示矩阵对向量的伸缩比例，而特征向量是矩阵作用下仅发生伸缩变换的向量。接着阐述了奇异值分解，它是对非方阵的扩展，通过三个矩阵相乘来表示原矩阵。奇异值分解的步骤包括求解特征向量并构建正交矩阵。这两个数学工具在数据分析和机器学习等领域有广泛应用。

摘要由CSDN通过智能技术生成

特征值分解

矩阵和向量做乘法，向量会变成另一个方向或长度的新向量，主要会发生旋转、伸缩的变化。为了更直观的理解，假设某向量为 $i+j$ 即 $\begin{bmatrix} 1\\ 1 \end{bmatrix}$ ，矩阵 $\begin{bmatrix} 1 & 2\\ 3 & 4 \end{bmatrix}$ 乘以此向量之后为 $\begin{bmatrix} 3\\7 \end{bmatrix}$ ，向量变为了 $3i+7j$ .

如果矩阵乘以某些向量后，向量不发生旋转变换，只产生伸缩变换(等比例变换)，那么这些向量就是矩阵的特征向量，伸缩的比例就是特征值。

假设某向量为 $5i+6j$ 即 $\begin{bmatrix} 5\\6 \end{bmatrix}$ ，矩阵 $\begin{bmatrix} 3 & 0\\0 & 3 \end{bmatrix}$ 乘以此向量之后为 $\begin{bmatrix} 15\\18 \end{bmatrix}$ ，向量变为了 $15i+18j$ 。即 $3(5i+6j)$ .所以矩阵 $\begin{bmatrix} 3 & 0\\0 & 3 \end{bmatrix}$ 的特征向量为 $5i+6j$ ，特征值为3.(例子不太恰当)

特征值分解的过程为，解方程 $|A-\lambda E|=0$ ,即 $\begin{vmatrix} a_{11}-\lambda & a_{12} &a_{...} &a_{14} \\ a_{21}& a_{22}-\lambda & a_{...}& a_{24}\\ a_{...}&a_{...} &a_{...}-\lambda &a_{...} \\ a_{n1}& a_{n2} & a_{...} & a_{n4}-\lambda \end{vmatrix}=0$ 可以解出n个特征值，把特征值代入等式 $Ax=\lambda x$ 就可以解出n个特征向量。

具有一般性的数学描述为： $Ax=\lambda x$ ,其中A为n阶方阵， $x$ 为n维特征向量， $\lambda$ 为对应于特征向量 $x$ 的特征值。特征值分解就是将一个矩阵用特征向量和特征值表示： $A=P\Sigma P^{H}$ 。

式中： $P$ 为矩阵 $A$ 的特征向量组成的矩阵， $\Sigma$ 为特征值组成的对角矩阵(特征值从大到小排列)。

特征值的大小代表对应特征的重要性。

特征值分解要求矩阵A为方阵

奇异值分解

奇异值分解突破了方阵的限制，任意非零 $M\times N$ 阶矩阵都可以分解为三个矩阵相乘的形式。

矩阵的奇异值分解是指将非零的 $M\times N$ 阶实矩阵A, $A\epsilon R^{M\times N}$ 分解为三个实矩阵相乘即

$A=U\Sigma V^{T}$ , $U\epsilon R^{M\times M},\Sigma \epsilon R^{M\times N},V\epsilon R^{N\times N}$

式中： $U$ 、 $V$ 为正交矩阵(酉矩阵)， $U$ 的列向量是左奇异向量， $V$ 的列向量是右奇异向量， $\Sigma$ 是由非负的奇异值由小到大组成的对角矩阵。

奇异值分解的步骤：

1.首先求 $A^{T}A$ 的特征向量

令 $D=A^{T}A$ ,求解 $(D-\lambda E)x=0$ ,得到特征值 $\lambda _{1},\lambda _{2},...\lambda _{N}$ （由大到小），并带入求得对应的特征向量。

2.求 $N$ 阶正交矩阵V

将得到的特征向量单位化，得到单位特征向量 $v _{1},v _{2},...v _{N}$ ,构成 $N$ 阶正交矩阵 $V=[v _{1},v _{2},...v _{N}]$ 。

3.求 $M$ 阶正交矩阵 $U$

令 $G=AA^{T}$ ,求解 $(G-\mu E)x=0$ ,得到特征值 $\mu _{1},\mu _{2},...\mu _{N}$ （由大到小），并带入求得对应的特征向量。将得到的特征向量单位化，得到单位特征向量 $u _{1},u _{2},...u _{N}$ ,构成 $M$ 阶正交矩阵 $U=[u _{1},u _{2},...u _{N}]$ 。

4.求 $M\times N$ 阶奇异值矩阵 $\Sigma$

$D=A^{T}A=(V\Sigma^{T} U^{T})(U\Sigma V^{T})=V\Sigma ^{2}V^{T}$ ，由此可以看出矩阵D的特征向量矩阵就是V,特征值就是奇异值矩阵的平方。所以计算奇异值 $\sigma _{i}=\sqrt{\lambda _{i}},i=1,2,...N$ ， $\Sigma =\begin{bmatrix} diag(\sigma _{i})\\0_{M-N} \end{bmatrix}$ 。