线性代数系列（十三）--特征值和特征向量

主要内容

• 特征值和特征向量
• 矩阵的特征值分解
• 对角化

正文

特征值和特征向量是一块非常重要的内容，虽然它的数学公式非常简单，但是真正搞明白它却很困难，需要费一些劲。第一部分我们先介绍特征值和特征向量，然后举例来充分的理解它们，重点在于充分理解求解特征值和特征向量。第二部分重点介绍它们的应用。

特征值和特征向量

不妨先记特征向量为$x$， 通俗来讲，所谓特征向量就是将矩阵（方阵）作用于该向量后得到与该向量平行的向量，用公式表示如下：$$Ax=\lambda x$$这里的系数$\lambda$就是特征值，对$\lambda$是没有限制的，它可以为实数，可以为复数，可以为零。当$\lambda$为零的时候，我们得到方程$Ax=0$，这时候特征向量就是零空间中的向量。这是一种比较特殊的情况，一般来讲，当$A$为奇异矩阵的时候，也就是$A$的行列式为$0$的时候，它会有一个值为$0$的特征值。

我们先看几个例子： 在投影操作中（以三维为例），我们有两种比较特殊的情况：

• 当$b$在平面内的时候：$$Pb=b$$这种形式就是特征向量的一种，$P$的特征向量为$b$，特征值为$1$。
• 当$b$垂直于平面的时候：$$Pb=0b$$这是另一种特殊的情况，对于特征向量$b$，它的特征值为$0$。

例如：对于置换矩阵$$P=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$$我们可以从它的本义上来分析一下，置换矩阵的作用就是用于交换矩阵的行，变换矩阵的行无非有两种结果，一种是矩阵（这里是向量）发生了变化，一种是不发生变化，但是又要保证变换以后向量平行。所有只有两种可能，一种是置换以后结果同原向量相同，另一种是置换以后结果是原向量的负数倍。对于$Px=\lambda x$，第一种情况我们可以猜：$x_1=\left[\begin{array}{c}1\\ 1\end{array}\right]$，第二种情况我们可以猜：$x_2=\left[\begin{array}{c}1\\ -1\end{array}\right]$，计算得到${\lambda }_1=1，{\lambda }_2=-1$。实际上，$n\times n$的矩阵由$n$个特征值，$n$个特征向量。
关于特征值我们有这样的结论： 特征值之和为矩阵的对角线的和，矩阵的对角线之和又称为迹。

求解特征值的一般方法： 仅靠猜是太难找到答案了，所以这里有一种普遍的方法。对于$Ax=\lambda x$，我们可以移项得到$(A-\lambda I)x=0$。根据零空间的内容，如果$A-\lambda I$是非奇异矩阵，也就是说它的行列式不为$0$，那么零空间就只有一个零向量，显然我们求的特征向量是不能这样的，所以必然有$$A-\lambda I=0$$通过解这个方程，我们就可以得到所有可能的特征值，通俗来讲，$A-\lambda I$的意义就是在$A$的对角线上减去$\lambda$。我们可以看一下这个例子：$$A=\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right]$$ $$det(A-\lambda I)=\left|\begin{array}{cc}3-\lambda & 1\\ 1& 3-\lambda \end{array}\right|={\lambda }^2-6\lambda +8$$可以很简单的解得${\lambda }_1=2,{\lambda }_2=4$。根据韦达定理：$${\lambda }_1+{\lambda }_2=6,{\lambda }_1{\lambda }_2=8$$实际上，$6$是矩阵的对角线之和，$8$是矩阵的行列式。这意味着：

• 特征值之和等于对角线之积
• 特征值之积等于矩阵的行列式

现在我们知道了特征值，接着就可以求特征向量了：$$(A-\lambda I)x=0$$根据这个方程，我们可以知道求特征向量就是在求零空间的一组基，他们显然是线性无关的。最后可以求得：$x_1=\left[\begin{array}{c}1\\ 1\end{array}\right],x_2=\left[\begin{array}{c}-1\\ 1\end{array}\right]$。我们会发现，这里的特征向量与前面置换矩阵的特征向量相同，但是特征值不同。这两个例子的区别就在于后者在对角线上加了一定的数值。在公式上我们分析一下：$$(A+\mu I)x=Ax+\mu x=\lambda x+\mu x=(\lambda +\mu )x$$ 这表明了矩阵在对角线上加一定的数值，其特征值就会加一定的数值，而特征向量保持不变，但是这并不是一定成立的。

还有一种比较特殊的情况：三角矩阵，例如：$$A=\left[\begin{array}{cc}3& 1\\ 0& 3\end{array}\right]$$类似的，我们求解特征值$det(A-\lambda I)=\left|\begin{array}{cc}3-\lambda & 1\\ 0& 3-\lambda \end{array}\right|=(3-\lambda {)}^2=0$，我们得到两个特征值${\lambda }_1=3,{\lambda }_2=3$，将这两个特征值带入$Ax=3x$，会得到两个相同的特征向量，或者又叫做没有其他的线性无关的特征向量，这样的矩阵叫做退化矩阵。此外，这个例子给我们了其他的启示，三角矩阵或者对角矩阵的特征值就是对角线的值。

矩阵的特征值分解

我们从$AS$出发，其中$S$表示由$A$的线性无关的特征向量组成的矩阵，又叫特征矩阵。$$AS=A\left[\begin{array}{ccccc}:& :& :& ...& :\\ x_1& x_2& x_3& ...& x_n\\ :& :& :& ...& :\end{array}\right]=\left[\begin{array}{ccccc}:& :& :& ...& :\\ x_1{\lambda }_1& {\lambda }_2{x}_2& {\lambda }_3{x}_3& ...& {\lambda }_n{x}_n\\ :& :& :& ...& :\end{array}\right]=\left[\begin{array}{ccccc}:& :& :& ...& :\\ x_1& x_2& x_3& ...& x_n\\ :& :& :& ...& :\end{array}\right]\left[\begin{array}{ccccc}{\lambda }_1& 0& 0& ...& 0\\ 0& 0& 0& ...& 0\\ 0& 0& 0& ...& {\lambda }_n\end{array}\right]$$我们可以发现，最后得到了特征矩阵和特征值组成的对角矩阵的乘积，将这个特征值组成的对角矩阵记为$\Lambda$，可以有这样的公式：$$AS=S\Lambda$$由这个基本的公式出发，我们又可以得到$A=S\Lambda S^{-1},S^{-1}AS=\Lambda$。第一个公式将矩阵$A$分解成了特征向量和特征值，这就是矩阵的特征值分解。第二个公式实现了将矩阵进行对角化，这也是非常实用的一种工具。

接下来借助这个公式我们分析一下矩阵的幂。 对于基本公式$Ax=\lambda x$，$$A^{2}x=\lambda Ax={\lambda }^{2}x$$ $$A^{k}x=\lambda A^{k-1}x={\lambda }^2{A}^{k-2}x=...={\lambda }^{k}x$$对于$A=S\Lambda S^{-1}$：$$A^k=S\Lambda S^{-1}S\Lambda S^{-1}...S\Lambda S^{-1}=S{\Lambda }^k{S}^{-1}$$如果我们直接使用$A$进行求$k$次幂的话，那计算量将会非常的大，当使用这个公式后，计算量大大的减小了，因为我们只需要计算特征值和特征向量，然后在对特征值进行求幂即可。这个公式告诉我们矩阵的幂从根本上来讲只是对矩阵的特征值进行了求幂。如果我们的特征值${\lambda }_i<1i=1...n$，那么当$k\to \infty \Rightarrow {\lambda }_i\to 0i=1...n$。这样的矩阵称为稳定矩阵，随着幂数的增大，矩阵会趋向于$0$。

对角化

对于矩阵$A_{n\times n}$，如果$A$有$n$个互不相同的特征值，那么$A$有$n$个线性无关的特征向量，并且$A$是可对角化的，否则$A$是不能够对角化的，因为$S$将会没有逆。如果存在重复的特征值，那么$A$可能存在$n$个线性无关的特征向量。最简单的例子就是$I$，它有$n$个重复的特征值$1$，但是它有$n$个线性无关的特征向量。比较糟糕的情况就是前面的例子，当$A=\left[\begin{array}{cc}3& 1\\ 0& 3\end{array}\right]$，我们得到两个相同的特特征值但是只有一个线性无关的特征向量。所以它是不能对角化的。实际上，每个不同的特征值都对应不同的特征向量。

差分方程： $u_{k+1}=A{u}_k$。如果我们已有一个向量$u_0$，他可以分解成特征向量的线性组合，如下：$$u_0=c_1{x}_1+c_2{x}_2+...+c_n{x}_n=Sc$$ 根据$u_{k+1}=A{u}_k$，我们可以推出$u_k=A{u}_{k-1}=A^2{u}_{k-2}=...=A^k{u}_0$。因为$u_0$是由特征向量线性组合得到的，所以这时候我们就可以进一步运算，得到更加简单的结果：$$u_k=A^k{u}_0=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+...+c_n{\lambda }_n^k{x}_n={\Lambda }^{k}Sc$$特征值在有关对角矩阵的计算上的威力真的是令人惊叹的。例如：斐波那契数列：斐波那契数列的公式为:$$F_{k+2}=F_{k+1}+F_k$$但是我们需要将他表达成$u_{k+1}=A{u}_k$的形式，可以记$u_k=\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right]$，那么$u_{k+1}=\left[\begin{array}{c}{F}_{k+2}\\ F_{k+1}\end{array}\right]$，此外还需要得到一个矩阵。这就需要一些技巧，不过也是显然的，我们应该能够发现规律，再增加一个方程： $$F_{k+1}=F_{k+1}$$因此最终得到的矩阵表达式为：$$u_{k+1}=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]u_k$$当我们需要求$F_{100}$的时候，带上面的公式即可。这个例子还有一个比较重要的地方，就是需要将$u_0$表达成特征向量的线性组合的形式，然后求出组合的系数，此外就是需要确定特征向量。当确定了这些以后，就可以解决问题了。这个问题表明了，增长率取决于特征值。