深入理解矩阵的特征值和特征向量

最新推荐文章于 2022-12-11 23:29:42 发布

九号店

最新推荐文章于 2022-12-11 23:29:42 发布

阅读量3.9w

点赞数 17

分类专栏：矩阵论

原文链接：https://blog.csdn.net/qq_32742009/article/details/82217051

版权

矩阵论专栏收录该内容

2 篇文章 1 订阅

订阅专栏

原

【数学基础】矩阵的特征向量、特征值及其含义

2018年08月31日 11:37:08 zhaosarsa 阅读数 4693 更多

分类专栏：数学

本文链接： https://blog.csdn.net/qq_32742009/article/details/82217051

在线代课上，老师会教我们怎么求矩阵的特征值与特征向量。但是并不会讲特征值与特征向量到底有着什么样的几何意义或者物理意义，或许讲了但也比较模糊。矩阵的特征值与特征向量在各种机器学习算法与应用场景中都有出现，每次出现都有着其独特的意义。在这里也只是简述一二。

一、方阵的特征值与特征向量

1、特征值与特征向量的定义：

定义1:设 $A$ 是 $n$ 阶方阵，若数 $\lambda$ 和 $n$ 维非零列向量 $x$ ，使得 $Ax = \lambda x$ 成立，则称 $\lambda$ 是方阵 $A$ 的一个特征值， $x$ 为方阵 $A$ 的对应于特征值 $\lambda$ 的一个特征向量。

注：

$A$ 是方阵。（对于非方阵，是没有特征值的，但会有条件数。）
特征向量 $x$ 为非零列向量。

2、特征值与特征向量的几何意义（引自https://www.matongxue.com/madocs/228.html）：

我们先记线性变换一个T（Transformation）为 $T:\mathbb{R}^2\rightarrow \mathbb{R}^2$ ，容易知道矩阵 $A$ 代表一个线性变换，可以做升维降维，放大缩小以及旋转的线性变换，而对于方阵 $A$ 而言，是不存在升维降维的。即一个方阵 $A$ 其对向量 $\vec{v}$ 的线性变换为伸长收缩或者旋转。

$T(\vec{v}) = A\vec{v}$

在 $\vec{i},\vec{j}$ 为基向量的空间下有个向量 $\vec{v}$ :

对 $\vec{v}$ 随便左乘一个矩阵 $A$ ，即对 $\vec{v}$ 进行一个线性变换。

调整下 $\vec{v}$ 的方向，使其特殊一点。

可以观察到，调整后的 $\vec{v}$ 和 $A\vec{v}$ 在同一直线上，只是 $A\vec{v}$ 的长度相对 $\vec{v}$ 的长度变长了。

此时，我们就称 $\vec{v}$ 是 $A$ 的特征向量，而 $A\vec{v}$ 的长度是 $\vec{v}$ 的长度的 $\lambda$ 倍， $\lambda$ 就是特征值。

即 $T(\vec{v}) = A\vec{v} = \lambda \vec{v}$

从特征向量和特征值的定义中还可以看出，特征向量所在直线上的向量都是特征向量。

3、特征值与特征向量的一些性质

1）、如果 $A$ 是一个不可逆方阵，即 $det(A) = 0$ ，则齐次线性方程组 $Ax=0$ 有无穷多解，故有非零解，即 $Ax_0=0 = 0\cdot x_0$ ，故不可逆方阵必有零特征值 $\lambda_0 = 0$ 。

2）、一些实际问题中,常常会涉及到一系列的运算， $Ax,A^2x,\cdots,A^kx,\cdots$ ，由特征值和特征向量的关系 $Ax = \lambda x$ 可以简化这些运算， $A^kx = \lambda^kx$ 。

3）、矩阵的迹trace，即为矩阵 $A$ 的对角元素之和。例记 $A=\begin{bmatrix} a_{11}&a_{12} \\ a_{21}& a_{22} \end{bmatrix}$ ，则 $trace(A) = a_{11}+a_{22}$ 。

$\lambda_1\lambda_2\cdots \lambda_n = det(A)= \left | A \right |$
$\lambda_1+\lambda_2+\cdots+\lambda_n = a_{11}+a_{22}+\cdots+a_{nn} = trace(A)$
$A^m$ 的特征值为 $\lambda_i^m$ ； $kA$ 的特征值为 $k\lambda_i$ ； $A^{-1}$ 的特征值为 ${1/ \lambda_i}(\lambda_i \neq 0)$ ，侧面也说明了非满秩矩阵不可逆。
若 $g(A) = a_kA^k+a_{k-1}A^{k-1}+\cdots+a_1A+a_0E$ ，则 $g(\lambda) = a_k\lambda^k+a_{k-1}\lambda^{k-1}+\cdots+a_1\lambda+a_0$ 是 $g(A)$ 对应的特征值。
在复数域中，任意的方阵 $A$ 都存在对应的特征值与特征向量。在实数域中则不一定。

4）、特征向量的性质

矩阵 $A$ 关于特征值 $\lambda_i$ 的 $m$ 个特征向量 $x_1,x_2,\cdots,x_m$ 的任意非零线性组合 $\sum_{i=1}^mk_ix_i \neq 0$ 还是 $A$ 的关于 $\lambda_i$ 的特征向量。
设 $x_1,x_2,\cdots,x_r$ 是矩阵 $A$ 的不同特征值所对应的特征向量，则 $x_1,x_2,\cdots,x_r$ 是线性无关的。
$n$ 阶方阵 $A$ 至多有 $n$ 个线性无关的特征向量。
矩阵 $A$ 与 $A^T$ 的特征值相同，但特征向量却未必一样。
设 $\lambda$ 为 $n$ 阶方阵 $A$ 的一个 $k$ 重特征值， $A$ 关于 $\lambda$ 的线性无关的特征向量的最大个数为 $s$ ，则 $1 \leq s \leq k$ 。

二、特征值与特征向量的计算

求出方阵 $A$ 的特征多项式 $f(\lambda) = \left | \lambda E-A \right |$ 。
解特征方程 $f(\lambda) = \left | \lambda E-A \right | = 0$ ，求出 $A$ 的全部特征值 $\lambda_1,\lambda_2,\cdots,\lambda_n$ 。其中 $f(\lambda)$ 的 $r$ 重根对应 $A$ 的 $r$ 个值相同的特征值。
求 $(\lambda_i E-A)x=0$ 或 $(A-\lambda_iE)x=0$ 的非零解，得到 $A$ 的关于 $\lambda_i$ 的全部特征向量。

例1：求矩阵 $A=\begin{pmatrix} -1 & 1 & 0\\ -4 & 3 & 0\\ 1 & 0 & 2 \end{pmatrix}$ 的特征值和全部特征向量。

第一步：写出矩阵 $A$ 的特征方程，求出特征值。

$\left | A-\lambda E \right | = \begin{vmatrix} -1-\lambda &1 &0 \\ -4& 3-\lambda &0 \\ 1& 0& 2-\lambda \end{vmatrix}=0$

$(2-\lambda)(\lambda-1)^2=0$

特征值为 $\lambda_1=2,\lambda_2=\lambda_3=1$

三阶方阵的行列式计算：

第二步：对每个特征值 $\lambda$ 代入齐次线性方程组 $(A-\lambda E)x=0$ ，求非零解。

当 $\lambda_1=2$ 时，齐次线性方程组为 $(A-2 E)x=0$

系数矩阵

$(A-2E)=\begin{pmatrix} -3 &1 &0 \\ -4&1 &0 \\ 1&0 &0 \end{pmatrix} \rightarrow\begin{pmatrix} 1 &0 &0 \\ 0& 1 &0 \\ 0& 0 &0 \end{pmatrix}$

自由未知量： $x_3$

$x_1=x_2=0$ 令 $x_3=1$ 得基础解系： $p_1=\begin{pmatrix} 0\\ 0\\ 1 \end{pmatrix}$

所以 $k_1p_1(k_1\neq 0)$ 是对应于 $\lambda_1=2$ 的全部特征向量。

当 $\lambda_2=\lambda_3=1$ 时，齐次线性方程组为 $(A- E)x=0$

系数矩阵

$(A-E)=\begin{pmatrix} -2 &1 &0 \\ -4&2 &0 \\ 1&0 &1 \end{pmatrix} \rightarrow\begin{pmatrix} 1 &0 &1 \\ 0& 1&2 \\ 0&0 &0 \end{pmatrix}$

$\left\{\begin{matrix} x_1=-x_3\\ x_2=-2x_3 \end{matrix}\right.$ ，得基础解系 $p_2=\begin{pmatrix} -1\\ -2\\ 1 \end{pmatrix}$

所以 $k_2p_2(k_2\neq 0)$ 是对应于 $\lambda_2=\lambda_3=1$ 的全部特征向量。

三、特征值与特征向量的含义

上面一二两大点旨在回忆特征值与特征向量的定义与计算，对于为什么这样定义并未做过多的讲解。接下来进入重点，讲一下特征值与特征向量到底发挥了怎样的作用，以及为什么会将这样的向量定义为矩阵的特征向量。

乘幂法求矩阵的特征值及特征向量

上面求解矩阵特征值与特征向量的方法是常规的方法，不过在 $n$ 非常大时，直接求解特征值及其对应的特征向量开销会很大，因此可以用乘幂法解其数值。

假定 $n$ 阶矩阵 $A$ 对应的 $n$ 个特征值按模从大到小的排序为：

$|\lambda_1|> |\lambda_2|> |\lambda_3| \ldots > |\lambda_n|$

关于 $\lambda_1,\lambda_2,\cdots,\lambda_n$ 的特征向量 $v_1,v_2,\cdots,v_n$ 线性无关，此时特征向量 $v_1,v_2,\cdots,v_n$ 可以作为空间的一组基。

任取初始向量 $\textbf{x}_0=\alpha_1\textbf{v}_1+\alpha_2\textbf{v}_2+\alpha_3\textbf{v}_3+\ldots+\alpha_n\textbf{v}_n,(\alpha_i \neq 0)$ ，建立迭代公式： $\textbf{x}_{k+1}=\textbf{A}\textbf{x}_k$ .

$\begin{align*}\textbf{x}_1=\textbf{A}\textbf{x}_0&=\alpha_1\textbf{A}\textbf{v}_1+\alpha_2\textbf{A}\textbf{v}_2+\alpha_3\textbf{A}\textbf{v}_3+\ldots+\alpha_n\textbf{A}\textbf{v}_n \\ &=\alpha_1\lambda_1\textbf{v}_1+\alpha_2\lambda_2\textbf{v}_2+\alpha_3\lambda_3\textbf{v}_3+\ldots+\alpha_n\lambda_n\textbf{v}_n\end{align*}$

$\begin{align*}\textbf{x}_2=\textbf{A}\textbf{x}_1&=\alpha_1\lambda_1\textbf{A}\textbf{v}_1+\alpha_2\lambda_2\textbf{A}\textbf{v}_2+\alpha_3\lambda_3\textbf{A}\textbf{v}_3+\ldots+\alpha_n\lambda_n\textbf{A}\textbf{v}_n \\ &=\alpha_1\lambda^2_1\textbf{v}_1+\alpha_2\lambda^2_2\textbf{v}_2+\alpha_3\lambda^2_3\textbf{v}_3+\ldots+\alpha_n\lambda^2_n\textbf{v}_n\end{align*}$

……………………

$\begin{align*}\textbf{x}_{k}=\textbf{A}\textbf{x}_{k-1}&=\alpha_1\lambda^{k}_1\textbf{v}_1+\alpha_2\lambda^{k}_2\textbf{v}_2+\alpha_3\lambda^{k}_3\textbf{v}_3+\ldots+\alpha_n\lambda^{k}_n\textbf{v}_n\\ &=\lambda^{k}_1[\alpha_1\textbf{v}_1+\alpha_2(\frac{\lambda_2}{\lambda_1})^{k}\textbf{v}_2+\alpha_3(\frac{\lambda_3}{\lambda_1})^{k}\textbf{v}_3+\ldots+\alpha_n(\frac{\lambda_n}{\lambda_1})^{k}\textbf{v}_n]\end{align*}.$

因为 $|\frac{\lambda_i}{\lambda_1}|<1,i=2,\ldots,n$ ，故当 $k \to \infty$ ， $\textbf{x}_{k} \to \alpha_1\lambda^{k}_1\textbf{v}_1$ 。因此 $\textbf{x}_{k}$ 可看成是关于特征值 $\lambda_1$ 的近似特征向量，不过有个缺点就是当 $|\lambda_1|>1$ （或 $|\lambda_1|<1$ ）， $\textbf{x}_{k}$ 中不为0的分量将随k的增大而无限增大，计算机就有可能出现上溢（或下溢）。所以在实际计算时，需按规范法计算，每步先对向量 $\textbf{x}_{k}$ 进行规范化：

$\textbf{z}_k=\frac{\textbf{x}_k}{||\textbf{x}_k||_{\infty}},\textbf{x}_{k+1}=\textbf{A}\textbf{z}_k.$

通过上面的分析，可将乘幂法求矩阵的特征值及特征向量的方法可归纳如下：

计算特征值 $\lambda_i,i=1,2,3,\ldots,n$ ，任选一个向量 $\textbf{x}_0$ ，递归 $\textbf{x}_k=\textbf{A}\textbf{z}_{k-1}$ ；
当 $k$ 充分大时或误差 Frobenius Norm $||\textbf{x}_k -\textbf{x}_{k-1}||$ 足够小时，停止；

$\textbf{z}_k$ 就是当前 $A$ 的主特征向量，对应的特征值为：

<p>λi=maxxk（xk中的最大分量）;</p>

<p>&nbsp;</p>
</li>
<li>
<p>在A中去掉主特征λi对应向量的因素&nbsp;</p>

<p>A=A−λizkzTk,</p>
接下来再找下一个特征对，然后类似计算。

<p>&nbsp;</p>
</li>

针对特征值相等的情况，假定|λ1|=|λ2|=…=|λm|>|λm+1|>…>|λn|，由于向量α1v1+α2v2+α3v3+…+αmvm仍是属于λ1的特征向量，故利用上述方法依旧可求解λ1，λm+1,…,λi特征值及其对应的特征向量。

运动

1、从调色谈起

我有一管不知道颜色的颜料，而且这管颜料有点特殊，我不能直接挤出来看颜色，只能通过调色来观察：

为了分辨出它是什么颜色（记得它只能通过调色来辨别）：

因为反复混合之后，这管颜料的特征就凸显了出来，所以我们判断，这管颜料应该是蓝色。

说这个干什么？矩阵也有类似的情况。

2、矩阵的混合

一般来说，矩阵我们可以看作某种运动，而二维向量可以看作平面上的一个点（或者说一个箭头）。对于点我们是可以观察的，但是运动我们是不能直接观察的。

就好像，跑步这个动作，我们不附加到具体的某个事物上是观察不到的，我们只能观察到：人跑步、猪跑步、老虎跑步、......，然后从中总结出跑步的特点。

就好像之前举的不能直接观察的颜料一样，要观察矩阵所代表的运动，需要把它附加到向量上才观察的出来：

似乎还看不出什么。但是如果我反复运用矩阵乘法的话：

至于为什么会产生这样的现象，可以通过乘幂法来证明。

就像之前颜料混合一样，反复运用矩阵乘法，矩阵所代表的运动的最明显的特征，即速度最大的方向，就由最大特征值对应的特征向量展现了出来。利用乘幂法的思想，每次将最大的特征值对应的向量因素从矩阵中除去，就可以依次得到各个特征值所对应的特征向量。

OK！知道了上述运动这个关系之后，我们可以思考这样一件事情。

1、解释1

我们可以将矩阵 $A$ 看成是一个力的混合体，但需要注意的是，这个力的混合体中各个力是相互独立的！即特征向量之间线性无关，是无法做力的合成（这里只是假设其无法合成，有更好的解释以后会补充）的。其中力的个数为矩阵 $A$ 的秩，力的大小为特征值的大小，力的方向即为特征向量的方向。

此时如果我们对任一向量 $\vec{x}$ （这里可以把 $\vec{x}$ 看成是一个物体，如一个小方块）无限施加这个力的集合，正如上图所示的那样，最终小方块运动的方向即为力最大的那个方向。即向量 $\vec{x}$ 会收敛为最大特征值 $\lambda$ 的特征向量。去掉这个力，不断重复，即可以得到第二个、第三个特征向量。

这就是为什么我们将这样的向量定义为矩阵 $A$ 的特征向量，因为一方面它能够体现出线性变换 $A$ 中力的方向及大小，另一方面可以可以通过分析特征值得到该线性变换的主导因素。

再啰嗦几句，概括来说就是，特征值与特征向量可以告诉我们这个矩阵 $A$ 它产生的线性变换做了什么以及主要做了什么。

2、解释2

另一个更直观的解释就是颜料混合。我们将矩阵 $A$ 看成一个篮子，重点不在篮子。在篮子里面有一堆颜料，包含了 $n$ 种颜色， $n$ 为矩阵 $A$ 的秩，但每种颜色的分量都不一样。先上结论——特征值代表了分量，特征向量表示了颜色。对任一向量 $\vec{x}$ （这里可以把 $\vec{x}$ 看成是一滩液体，无所谓本来是什么颜色），每次施加矩阵 $A$ 变换就是把篮子里的所有颜料都泼进去，泼无数次，最后清水的颜色就变成了颜色最多的颜色（这里不要计较什么颜料无限混合最后都是黑色灰色的，直观一点理解）。

假设我们现在有办法可以去掉篮子中指定颜色的所有颜料。则可以依次根据特征值排序得到特征向量。

通过这么一个比喻，我们也可以得出同样的结论。

矩阵 $A$ 包含了一堆信息——颜料的种类与颜料的数量。如果我们可以通过矩阵分解将其分离出来，保留那些分量大的颜色，而去除那些可有可无的颜色就可以实现信息压缩等变换。

OK！到此大致讲解了三块内容：1、特征值与特征向量的定义及性质。2、特征值与特征向量的计算。3、特征值与特征向量的直观解释与含义。

线性代数中还有很多的概念，想要彻底搞清楚特征值与特征向量在实际应用中发挥的作用，需要连贯各种知识点。接下来会写一系列的文章来加深那些即将被遗忘的知识……