矩阵论（七）矩阵的特征分析

矩阵的特征值刻画矩阵的奇异性、反映矩阵所有对角元素的结构、刻画矩阵的正定性，是矩阵的固有属性。

特征问题与特征方程

矩阵的本质是对变换的描述。矩阵的特征值和特征向量刻画了变换的特性。

线性算子的特征值和特征向量

若非零向量$u$作为线性算子$L$的输入时，所产生的输入与输出相同，最多相差一个常数因子，即

$$L[u] = \lambda u, u \ne 0$$

则称向量$u$是线性算子$L$的特征向量，称标量$\lambda$为线性算子$L$的特征值。

矩阵的特征值和特征向量

线性变换若可以表示为$w=Ax$，则矩阵$A$是线性变换的标准矩阵，相应地可以得到矩阵的特征值$\lambda$、特征向量$u$应该满足

$$Au=\lambda u, u\ne 0$$

可知：

$$线性变换的特征值和特征向量\Leftrightarrow 线性变换的标准矩阵的特征值和特征向量$$

物理意义

矩阵$A$对特征向量$u$所作的线性变换不改变$u$的方向，因此线性变换$Au$是保持方向的映射。

Hermitian矩阵(复共轭对称阵)的特征值

Hermitian矩阵的特征值一定是实数，且

$$A=U\Sigma U^H$$

其中，$U=[u_1, u_2, ..., u_n]^T$，$\Sigma=diag(\lambda_1,...,\lambda_n)$

特征值和特征向量的求解

• 求出使得矩阵$A-\lambda I$奇异（即行列式为0，矩阵不满秩）的$\lambda$，即为特征值。
• 根据$\lambda$的值，求所有满足$(A-\lambda I)=0$的非零向量$x$，即为特征向量

特征多项式

$$（A-\lambda I）u=0 \Leftrightarrow det(A - \lambda I) = 0$$

定义矩阵A的特征多项式为$det(A - \lambda I) = 0$,特征多项式的根即为矩阵$A$的特征值。

定理

任何多项式都可以写成$n \times n$的矩阵的特征多项式。多项式

$$p(\lambda)= \lambda^n + a_1 \lambda^{n-1} +...+a_n$$

可以写成$p(\lambda) = det(\lambda I - A)$，其中，

$$A = \begin{bmatrix} -a_1 & -a_2 & \cdots & -a_{n-1} & -a_n \\ -1 & 0 & 0 & 0 & 0 \\ 0 & -1 & 0 & 0 & 0\\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & -1 & 0 \end{bmatrix} \tag{1}$$

特征值与特征向量

特征值

特征值的一些相关术语：

（1）代数多重度（algebraic multiplicity）：是指$\lambda$是特征方程的几重根。

（2）单特征值（simple eigenvalue）：是指代数多重度为1.

（3）几何多重度（geometric multiplicity）：是指与$\lambda$对应的线性无关的特征向量的个数。也就是特征空间$Null(A-\lambda I)$的维数。注意，一个特征值可能对应多个线性无关的特征向量。

（4）减次矩阵（derogatory matrix）：是指至少有一个特征值的几何多重度大于1.

（5）半单特征值（semi-simple eigenvalue）：代数多重度等于几何多重度。

性质

性质1 矩阵奇异，等价于至少有一个特征值等于0。

这是因为对奇异矩阵，有$Au=0$存在非零解。

性质2 矩阵与其转置矩阵的特征值相同。

易得。

性质3 $\lambda$是$n \times n$矩阵$A$的特征值。

• 矩阵的幂的特征值等于特征值的幂，即$\lambda ^ k$是$A^k$的特征值；

• $A+ \sigma^2 I$的特征值等于$\lambda + \sigma^2$
• 若A非奇异，则$A^{-1}$有特征值$\frac{1}{\lambda}$

特征向量

左特征向量

$Av=\lambda v$

右特征向量

$u^HA = \lambda u^H$

Hermitian矩阵左右特征向量相同。

特征值分解只适用于正方阵。

定理

矩阵$A$的不同特征值对应的特征向量之间是线性无关的。

矩阵的条件数

任何一个矩阵A的单个特征值的条件数是

$$cond(\lambda) = \frac{1}{\cos\theta(u, v)}$$

即左右特征向量的余弦的倒数。

矩阵的行列式、矩阵的迹与特征值的关系

（1）矩阵的迹等于所有特征值之和

$$tr(A)=\sum_{i=1}^n \lambda_i$$

（2）矩阵的行列式等于矩阵所有特征值的乘积

$$det(A)=\prod_{i=1}^n \lambda_i$$

矩阵多项式的特征值

A的n次多项式

$$f(A)=A^n+c_1A^{n-1}+...+c_{n-1}A +c_nI$$

的特征值是

$f(\lambda) = \lambda^n + c_1 \lambda^{n-1} + ...+c_{n-1}\lambda + c_n$

特征值和特征向量的性质总结

• $n\times n$的矩阵一共有$n$个特征值，多重特征值按照多重度计入。

• 非对称实矩阵存在复的特征值或者复的特征向量，必定以复共轭对的形式出现

• 复共轭对称阵（Hermitian matrix）的所有特征值都是实数。

• 关于对角矩阵和三角矩阵的特征值：

  （1）对角阵的特征值为对角元素；

  （2）三角阵的对角元素是其所有特征值；

• 共轭对称

  （1）转置：矩阵A的特征值是$\lambda$, 则$\lambda$是其转置矩阵的特征值

  （2）共轭：矩阵A的特征值是$\lambda$, 则$\lambda^*$是其共轭矩阵的特征值

  （3）$A+ \sigma^2 I$的特征值等于$\lambda + \sigma^2$

  （4）逆矩阵：若A非奇异，则$A^{-1}$有特征值$\frac{1}{\lambda}$

• 幂等矩阵

  幂等矩阵$A^2=A$的所有特征值取值为0或者1

• 实正交矩阵

  所有特征值位于单位圆上

• 特征值与奇异性

  $$奇异矩阵 \Leftrightarrow 至少有一个特征值为0$$

• 特征值与矩阵的迹

  特征值求和等于矩阵的迹

• 特征值与行列式

  特征值乘积等于行列式

• 矩阵$A$的不同特征值对应的特征向量之间是线性无关的。

• Hermitian矩阵的正定性

  $$Hermitian矩阵的正定（半正定） \Leftrightarrow 所有特征值为正（非负）$$

• 特征值与矩阵的秩

  （1）$n\times n$的矩阵有$r$个非零特征值，则其秩至少为$r$

  （2）若0是$n\times n$矩阵A的无多重特征值，则$rank(A)=n-1$

  （3）若

  $$rank(A-\lambda I)\le n-1$$

  则$\lambda$是矩阵$A$的特征值。

  这是因为$A-\lambda I$奇异，所以$(A-\lambda I)u=0$存在非零解，所以$\lambda$是特征值。

• 多重度

  $n\times n$的矩阵的任意特征值的几何多重度不可能大于代数多重度。

• 乘积的特征值

  关于$m\times n(n\ge m)$矩阵$A$与$n\times m$矩阵$B$乘积的特征值：

  （1）若$\lambda$是矩阵乘积$AB$的特征值，则其也是$BA$的特征值

  （2）若$\lambda \ne 0$是矩阵乘积$BA$的特征值，则其也是$AB$的特征值

  （3）若$\lambda_1,\lambda_2, ..., \lambda_m$是矩阵乘积$AB$的特征值，则$BA$的n个特征值为

  $$\lambda_1, \lambda_2, ..., \lambda_m, 0,...,0$$

• 多项式的特征值

  如前述

• 矩阵的指数函数的特征值

矩阵特征值与特征向量对的性质

若$n\times n$矩阵$A$有$n$个线性无关的特征向量，则$A$的特征值分解为

$$A = U\Sigma U^{-1}$$

矩阵奇异值与特征值的关系

矩阵$A_{m\times n}$的非零奇异值等于$AA^T$或者$A^TA$的非零特征值的正平方根，且对应的左奇异向量与右奇异向量分别是矩阵$AA^T$与$A^TA$对应的特征向量。

矩阵的可对角化定理

$$一个n \times n的实矩阵A可对角化 \Leftrightarrow A具有n个线性无关的特征向量$$ $$A具有n个不同的特征值 \Rightarrow A可以对角化$$

注意，即使$A$有多重根，它仍然可能是可以对角化的。因为它的n个特征向量可能是线性无关的。

广义特征值分解

对于非正方阵，仍然可以求特征值。考虑两个矩阵组成的矩阵对的特征值分解。

广义特征值分解

$$Au=\lambda Bu$$

参考文献

《矩阵分析与应用》，张贤达