线性代数学习笔记7-2：特征值的应用——相似对角化、求矩阵的幂、差分方程与解的稳态

知道如何求解特征值后，下面介绍特征值的具体应用

类似消元法的LU分解、施密特正交化的QR分解，特征值部分可以引出对角化分解，但注意对角化的前提在于，矩阵A必须具有n个线性无关的特征向量（可能有/没有重复的特征值，没有重根$\Rightarrow$n个线性无关的特征向量，必要不充分条件）

ps. 当矩阵不具有n个线性无关的特征向量，则无法对角化，但可以三角化

矩阵对角化

假设已经找到所有特征向量，将它们作为列向量构成矩阵$\mathbf{S}=\left[\begin{array}{llll}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_{\mathrm{n}}\end{array}\right]$
那么，根据特征值的特点，有$$\begin{array}{rl}\mathbf{A}\mathbf{S}& =\mathbf{A}\left[\begin{array}{llll}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_{\mathrm{n}}\end{array}\right]\\ & =\left[\begin{array}{llll}{\lambda }_1{\mathbf{x}}_1& {\lambda }_2{\mathbf{x}}_2& \cdots & {\lambda }_{\mathrm{n}}{\mathbf{x}}_{\mathrm{n}}\end{array}\right]\\ & =\left[\begin{array}{llll}{\mathbf{x}}_1& {\mathbf{x}}_2& \cdots & {\mathbf{x}}_{\mathrm{n}}\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& & 0\\ ⋮& & \ddots & ⋮\\ 0& \cdots & 0& {\lambda }_{\mathrm{n}}\end{array}\right]\\ & =\mathbf{S}\mathbf{\Lambda }\end{array}$$
其中，所有特征值作为对角元，组成矩阵$\mathbf{\Lambda }=\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& & 0\\ ⋮& & \ddots & ⋮\\ 0& \cdots & 0& {\lambda }_{\mathrm{n}}\end{array}\right]$

再次强调，上述操作的前提是，矩阵A必须具有n个线性无关的特征向量，这样才保证$\mathbf{S}$可逆
最终，矩阵对角化表示为$$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$$

之前说过，若矩阵$\mathbf{A}$经过初等变换能得到矩阵$\mathbf{B}$，则$\mathbf{A}$与$\mathbf{B}$等价（相抵），记为$\mathbf{A}\cong \mathbf{B}$
任何矩阵，有唯一的相抵标准形$\mathbf{A}\cong \left(\begin{array}{cc}\mathrm{Ir}& 0\\ 0& 0\end{array}\right)$，从而行秩=列秩
消元和列操作能得到“相抵标准型”（只保留了最内核的秩信息），而这里得到“相似标准形”（保有矩阵操作的基本性质——特征值）

可以相似对角化的前提条件：

• $n阶方阵\mathbf{A}\sim 对角矩阵⟺\mathbf{A}有n个线性无关的特征向量$（这条是可相似对角化的本质核心，后面都是推论）
• $n阶方阵\mathbf{A}\sim 对角矩阵diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)\Rightarrow {\lambda }_1,{\lambda }_2,...,{\lambda }_n就是\mathbf{A}的全部特征值$
• 上两条的推论：$$\begin{gathered} n阶方阵\mathbf{A}\sim 对角矩阵⟺ \\ \mathbf{A}的每个k_i重特征值的特征子空间维数都为k_i⟺ \\ \mathbf{A}的每个k_i重特征值都对应k_i个线性无关的特征向量⟺ \\ \mathbf{A}的每个k_i重特征值{\lambda }_i都满足Rank({\lambda }_{\mathbf{i}}\mathbf{I}-\mathbf{A})=k_i \end{gathered}$$
• $n阶方阵\mathbf{A}的特征值都不相同/都是单根\Rightarrow A\sim 对角矩阵$
  (相当于所有特征向量都线性无关)
• 一个特别的情况：
  $n阶方阵\mathbf{A}是实对称矩阵\Rightarrow A\sim 对角矩阵$

另外，方阵$\mathbf{A}$为实对称矩阵的情况下，其特性带来一些特殊的性质：

• n阶实对称矩阵$\mathbf{A}$的特征值都是实数，且不同特征值对应的特征向量相互正交（实对称矩阵一定有$n$个无关正交向量）
• 实对称矩阵正交相似于对角矩阵：n阶实对称矩阵$\mathbf{A}$在相似对角化时，一定存在一个正交矩阵$\mathbf{C}$，可以用于“变换坐标系”，即${\mathbf{C}}^{-1}\mathbf{AC}=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$

应用：矩阵的幂

对角化的应用之一，就是为我们提供了新的视角来看待矩阵的幂（前提：矩阵A具有n个线性无关的特征向量）
由于$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$，我们都能轻易得到$\mathbf{A}$的$k$次幂的${\mathbf{A}}^k$的信息：$${\mathbf{A}}^k=(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1})(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1})...(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1})=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}$$这就是说：

• ${\mathbf{A}}^k$的特征向量与$\mathbf{A}$相同，而对应的特征值变为$\mathbf{\Lambda }$的幂次${\mathbf{\Lambda }}^k$
• 矩阵的幂乘以向量${\mathbf{A}}^k{\mathbf{u}}_0$，可以简化表示为通式$${\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}\mathbf{S}\mathbf{c}=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+\dots +c_n{\lambda }_n^k{\mathbf{x}}_n$$
  其中需要将${\mathbf{u}}_0$表示为特征向量的线性组合${\mathbf{u}}_0=\mathbf{S}\mathbf{c}$，并且注意前提是需要一整套线性无关的特征向量/或者说特征向量矩阵$\mathbf{S}$可逆（否则无法保证任意${\mathbf{u}}_0$都可以被拆解）
  具体细节后文会介绍

推论：

• 若矩阵A具有n个线性无关的特征向量，如果其所有特征值$|{\lambda }_i|<1$，则$k\to \infty 时{\mathbf{A}}^k\to 0$（因为${\mathbf{\Lambda }}^k\to 0$，故${\mathbf{A}}^k=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}\to 0$）

应用：求差分方程

对于一个一阶差分方程（${\mathbf{u}}_k$为向量，$\mathbf{A}$为系数矩阵）$${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$$后一项由前一项${\mathbf{u}}_k$给出，已知条件是初始的${\mathbf{u}}_0$，现在希望求${\mathbf{u}}_k$

首先，很容易求解得到${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$，然而这样形式的解没有实际意义（仍需要计算大量矩阵的幂）

注意这里再次出现「矩阵的幂」，那么容易想到进行对角化，向特征值和特征向量上靠拢
具体而言，求解过程是：

• 求出$\mathbf{A}$的所有特征向量，（假设具有n个线性无关的特征向量，才能继续）则所有特征向量张成整个空间，从而将${\mathbf{u}}_0$表示为特征向量的线性组合$${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+\dots +c_n{\mathbf{x}}_n=\mathbf{S}\mathbf{c}$$其中，列向量$\mathbf{c}$保存了各个特征向量的系数
• 对角化得到$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$，则第$k$项${\mathbf{u}}_k$为$${\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}\mathbf{S}\mathbf{c}=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+\dots +c_n{\lambda }_n^k{\mathbf{x}}_n$$

直观理解：找到特征向量，则不论多少次矩阵幂，始终都是对于特征向量进行缩放，则容易获得$$\mathbf{A}{\mathbf{u}}_0=c_1{\lambda }_1{\mathbf{x}}_1+c_2{\lambda }_2{\mathbf{x}}_2+\dots +c_n{\lambda }_n{\mathbf{x}}_n$$$${\mathbf{A}}^k{\mathbf{u}}_0=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2+\dots +c_n{\lambda }_n^k{\mathbf{x}}_n$$

关于“稳态”：

• 对于实数特征值，征值$|{\lambda }_i|<1$的项最终会消失，特征值$|{\lambda }_i|=1$的项恒定，特征值$|{\lambda }_i|>1$的项最终不断增长
• 对于复数特征值，虚部引入了复平面上的“旋转”，故特征值的幅值仍然确定稳态，而相位则对应了每次做矩阵乘法时特征向量的旋转角度
  详见线性代数学习笔记7-5：复习——正交、投影、特征值、差分/微分方程
• 那么，方程的解就是$${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}$$

举例：求Fibonacci数列

斐波那契数列为0,1,1,2,3,5,8,13，其通项公式为$F_{k+2}=F_{k+1}+F_k$，需要求$F_{100}$

首先要寻找/构造差分方程，由于通项公式给出的是二阶差分方程（同时出现了前后三项），我们可以额外增加一个方程，得到一个方程组（可表示为矩阵向量乘法），从而构造一阶的差分方程$$\{\begin{array}{c}{F}_{k+2}=F_{k+1}+F_k\\ F_{k+1}=F_{k+1}\end{array}$$其中，将前后两项组成的列向量视为一个整体，即令${\mathbf{u}}_k=\left[\begin{array}{l}{F}_{k+1}\\ F_k\end{array}\right]$，则出现一阶的差分方程$${\mathbf{u}}_{k+1}=\left[\begin{array}{ll}1& 1\\ 1& 0\end{array}\right]{\mathbf{u}}_k$$
至此，转化为上面的问题${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$，其中$\mathbf{A}=\left[\begin{array}{ll}1& 1\\ 1& 0\end{array}\right]$，给出初始的${\mathbf{u}}_0$，现在希望求${\mathbf{u}}_{100}$

• $\mathbf{A}$为对称阵，特征值必为实数，且对称矩阵的特征向量正交，可以求出$${\lambda }_1=\frac{1+\sqrt{5}}{2}\approx 1.618,{\mathbf{x}}_1=\left[\begin{array}{c}{\lambda }_1\\ 1\end{array}\right]$$$${\lambda }_2=\frac{1-\sqrt{5}}{2}\approx -0.618,{\mathbf{x}}_2=\left[\begin{array}{c}{\lambda }_2\\ 1\end{array}\right]$$
• 分解${\mathbf{u}}_0$得到$${\mathbf{u}}_0=\left[\begin{array}{l}{F}_1\\ F_0\end{array}\right]=\left[\begin{array}{l}1\\ 0\end{array}\right]=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2,c_1=\frac{1}{\sqrt{5}},c_2=-\frac{1}{\sqrt{5}}$$

这里求解特征向量时有一定技巧：
求解$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0$，由于$det(\mathbf{A}-\lambda \mathbf{I})=0$，则矩阵$(\mathbf{A}-\lambda \mathbf{I})=\left[\begin{array}{ll}1-\lambda & 1\\ 1& -\lambda \end{array}\right]$必然是二阶的不可逆矩阵，从而方程的两行一定线性相关，解这个方程只需满足其中任意一行即可（必然同时满足另一行），由此，我们直接从第二行得到方程的解，即特征向量$\mathbf{x}=\left[\begin{array}{c}\lambda \\ 1\end{array}\right]$
可以将$\mathbf{x}=\left[\begin{array}{c}\lambda \\ 1\end{array}\right]$回代$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0$验证：第二行结果为0；第一行结果${\lambda }^2-\lambda -1$就是特征多项式$\det (\mathbf{A}-\lambda \mathbf{I})=\left|\begin{array}{cc}1-\lambda & 1\\ 1& -\lambda \end{array}\right|$，因而也为0，可见$\mathbf{x}=\left[\begin{array}{c}\lambda \\ 1\end{array}\right]$就是方程$(\mathbf{A}-\lambda \mathbf{I})\mathbf{x}=0$的解（特征向量）

• 由上，有$${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0=\mathbf{S}{\mathbf{\Lambda }}^k\mathbf{c}=c_1{\lambda }_1^k{\mathbf{x}}_1+c_2{\lambda }_2^k{\mathbf{x}}_2$$带入数据，可以得到$$\left[\begin{array}{c}{F}_{100}\\ F_{99}\end{array}\right]={\mathbf{A}}^{99}\left[\begin{array}{l}{F}_1\\ F_0\end{array}\right]=\left[\begin{array}{cc}{\lambda }_1& {\lambda }_2\\ 1& 1\end{array}\right]\left[\begin{array}{cc}{\lambda }_1{}^{99}& \\ & {\lambda }_2{}^{99}\end{array}\right]\left[\begin{array}{l}{c}_1\\ c_2\end{array}\right]=\left[\begin{array}{l}{c}_1{\lambda }_1^{100}+c_2{\lambda }_2{}^{100}\\ c_1{\lambda }_1^{99}+c_2{\lambda }_2{}^{99}\end{array}\right]$$
  此即Fibonacci数列的通项公式

分析：
由于$|{\lambda }_2|\approx 0.618<1$，则$k\to \infty 时{\lambda }_2^k\to 0$；
而$|{\lambda }_1|\approx 1.618>1$，故${\lambda }_1$控制着Fibonacci数列的增长；
总体上，这个数列不断增长（不稳定），增长的速度由特征值决定

• 最终可得，$F_{100}=c_1{\lambda }_1^{100}+c_2{\lambda }_2{}^{100}\approx c_1{\lambda }_1^{100}$