矩阵的特征分解

1.特征值和特征向量

线性代数中，特征分解(eigendecomposition)是将矩阵分解为由特征值和特征向量表示的矩阵之积的方法。

给定一个方阵$A\in {\mathbb{R}}^{n\times n}$，我们认为在以下条件下，$\lambda \in \mathbb{C}$是$A$的特征值，$x\in {\mathbb{C}}^n$是相应的特征向量：$$Ax=\lambda x,x\ne 0$$直观地说，这个定义意味着将$A$乘以向量$x$会得到一个新的向量，该向量指向与$x$相同的方向，但按系数$\lambda$缩放。值得注意的是，对于任何特征向量$x\in {\mathbb{C}}^n$和标量$t\in \mathbb{C}$，$A(cx)=cAx=c\lambda x=\lambda (cx)$，$cx$也是一个特征向量。
因此，当我们讨论与$\lambda$相关的特征向量时，我们通常假设特征向量被标准化为长度为1（这仍然会造成一些歧义，因为$x$和$-x$都是特征向量，但我们必须接受这一点）。

我们可以重写上面的等式来说明$(\lambda ,x)$是$A$的特征值和特征向量的组合：$$(\lambda I-A)x=0,x\ne 0$$但是$(\lambda I-A)x=0$只有当$(\lambda I-A)$有一个非空零空间时，同时$(\lambda I-A)$是奇异的，$x$才具有非零解，即：$$|(\lambda I-A)|=0$$现在，我们可以使用行列式的先前定义将表达式$|(\lambda I-A)|$扩展为$\lambda$中的（非常大的）多项式，其中，$\lambda$的度为$n$。它通常被称为矩阵$A$的特征多项式。

然后我们找到这个特征多项式的$n$（可能是复数）根，并用${\lambda }_1,\cdots ,{\lambda }_n$表示。这些都是矩阵$A$的特征值，但我们注意到它们可能不明显。为了找到特征值${\lambda }_i$对应的特征向量，我们只需解线性方程$(\lambda I-A)x=0$，因为$(\lambda I-A)$是奇异的，所以保证有一个非零解（但也可能有多个或无穷多个解）。

应该注意的是，这不是实际用于数值计算特征值和特征向量的方法（记住行列式的完全展开式有$n!$项），这是一个数学上的争议。

以下是特征值和特征向量的属性（所有假设在$A\in {\mathbb{R}}^{n\times n}$具有特征值${\lambda }_1,\cdots ,{\lambda }_n$的前提下）：

• $A$的迹等于其特征值之和$$\mathrm{tr}A=\sum _{i=1}^n{\lambda }_i$$

• $A$的行列式等于其特征值的乘积$$|A|=\prod _{i=1}^n{\lambda }_i$$

• $A$的秩等于$A$的非零特征值的个数

• 假设$A$非奇异，其特征值为$\lambda$和特征向量为$x$。那么$1/\lambda$是具有相关特征向量$x$的$A^{-1}$的特征值，即$A^{-1}x=(1/\lambda )x$。（要证明这一点，取特征向量方程，$Ax=\lambda x$，两边都左乘$A^{-1}$）

• 对角阵的特征值$d=diag(d_1，\cdots ,d_n)$实际上就是对角元素$d_1，\cdots ,d_n$

注意：只有可对角化矩阵才能特征分解

2.矩阵的特征分解

令$\mathbf{A}$是一个$n\times n$的方阵，且有$n$个线性独立的特征向量${\mathbf{q}}_{\mathbf{i}}(i=1,\dots ,n)$，A可以被分解为
$\mathbf{A}=\mathbf{Q}\Lambda {\mathbf{Q}}^{-1}$
其中$\mathbf{Q}$是$n\times n$方阵，且第$i$列$A$的特征向量${\mathbf{q}}_{\mathbf{i}}$。$\Lambda$是对角矩阵，其对角线上的元素为对应的特征值，即${\mathbf{\Lambda }}_{\mathbf{i}\mathbf{i}}={\lambda }_{\mathbf{i}}$
一般而言，特征向量${\mathbf{q}}_{\mathbf{i}}(i=1,\dots ,n)$被单位化，但是未被单位化的特征向量${\mathbf{v}}_{\mathbf{i}}(i=1,\dots ,n)$也可以作为$\mathbf{Q}$的列向量。可以理解为$\mathbf{Q}$中向量的长度被${\mathbf{Q}}^{-1}$抵消了。

3.直观理解

先说结论

将向量看作空间中一个点，矩阵可视作点的运动，对于可以矩阵分解的矩阵：

• 特征值就是运动的速度
• 特征向量就是运动的方向

令矩阵$$\begin{gathered} \mathbf{A}=\left[\begin{array}{cc}\frac{5}{2}& -\frac{\sqrt{3}}{2}\\ -\frac{\sqrt{3}}{2}& \frac{3}{2}\end{array}\right]=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& \frac{1}{2}\\ -\frac{1}{2}& \frac{\sqrt{3}}{2}\end{array}\right]\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{2}\\ \frac{1}{2}& \frac{\sqrt{3}}{2}\end{array}\right] \\ =\mathbf{Q}\Lambda {\mathbf{Q}}^{-1} \end{gathered}$$

将$\mathbf{A}$左乘一个单位矩阵$\mathbf{I}=[\mathbf{x},\mathbf{y}]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$，即$\mathbf{A}\mathbf{I}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}\mathbf{I}$
我们看下向量$x,y$发生了什么变换
${\mathbf{Q}}^{-1}\mathbf{I}=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{2}\\ \frac{1}{2}& \frac{\sqrt{3}}{2}\end{array}\right]$

向量$\mathbf{x}=\left[\begin{array}{c}1\\ 0\end{array}\right]\Rightarrow \left[\begin{array}{c}\frac{\sqrt{3}}{2}\\ \frac{1}{2}\end{array}\right]$，向量$\mathbf{y}=\left[\begin{array}{c}0\\ 1\end{array}\right]\Rightarrow \left[\begin{array}{c}-\frac{1}{2}\\ \frac{\sqrt{3}}{2}\end{array}\right]$

可以看出，$\mathbf{x},\mathbf{y}$分别逆时针旋转$\frac{\pi }{6}$
怎么办到的呢？给定要给一个题目，将二维平面上一点逆时针旋转$\theta$，求旋转后得坐标。可以解得：
$$\{\begin{array}{c}{x}_r=x\cos \theta -y\sin \theta \\ y_r=x\sin \theta +y\cos \theta \end{array}$$
令$\theta =\frac{\pi }{6}$
$$\{\begin{array}{c}{x}_r=\frac{\sqrt{3}}{2}x-\frac{1}{2}y\\ y_r=\frac{1}{2}x+\frac{\sqrt{3}}{2}y\end{array}$$
比对一下上式与${\mathbf{Q}}^{-1}$，会发现两者相同，所以，${\mathbf{Q}}^{-1}$得作用就是将单位矩阵每个列向量逆时针旋转$\frac{\pi }{6}$

对角矩阵$\mathbf{\Lambda }$则是将向量沿着特征向量的方向放缩，$\mathbf{Q}$再将旋转的向量还原回去。

4.通过特征分解求逆矩阵

若矩阵$\mathbf{A}$可被特征分解且特征值中不含 $0$，则矩阵$\mathbf{A}$为非奇异矩阵，且其逆矩阵
$\mathbf{A}=\mathbf{Q}{\mathbf{\Lambda }}^{-1}{\mathbf{Q}}^{-1}$
因为$\mathbf{\Lambda }$为对角矩阵，其逆矩阵容易计算出
$[{\mathbf{\Lambda }}^{-1}{]}_{\mathbf{i}\mathbf{i}}=\frac{1}{{\lambda }_{\mathbf{i}}}$

5.对特殊矩阵的矩阵分解

对称矩阵

任意的实对称矩阵的特征值都是实数且有$n$个线性无关的特征向量，并且这些特征向量都可以正交单位化得到一组正交且模长为1的向量。实对称矩阵可被分解成
$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\mathbf{T}}$
$\mathbf{Q}$为正交矩阵，$\mathbf{\Lambda }$为实对角矩阵

参考

特征分解
如何理解矩阵特征值？