【线性代数及其应用】07 - 特征值与特征向量

特征值与特征向量

1. 特征值

1.1 什么是特征值

  有些矩阵对向量的线性变换是只改变其大小，而不改变向量的方向，这种向量叫做矩阵的特征向量，而改变的大小叫做特征值。也就是
$$A\ast v_1=\lambda \ast v_1$$
  v1叫做特征向量，λ叫做特征值

1.2 特征值的求解方法

$$A\ast V=\lambda \ast V$$

$$(A-\lambda \ast I)\ast v=0$$

$$即求det(A-\lambda \ast I)=0$$

1.3 特征方程

$$(A-\lambda \ast I)\ast v=0$$

1.4 特征向量的求解方法

  特征向量就是求特征方程的零空间

1.5 特征值、特征向量与矩阵之间的关系

  假设A的特征值是λ，A的特征向量是v，则A+nI的特征向量是λ+n，特征向量不变

1.6 对称性与特征值之间的关系

  如果矩阵是对称的，那么特征值都是实根，如果矩阵是旋转矩阵样式的完全不对称的，特征值全部是虚根。对称性越高，实根比例越高。

2.特征值的应用

2.1 对角化分解

2.1.1 含义

  对角分解是基于特征值和特征向量的矩阵分解
  我们知道，特征值具有这样的性质
$$A\ast v_1={\lambda }_1\ast v1$$
  v1是矩阵A的特征向量，λ1是矩阵A的特征值。如果有矩阵S是矩阵A的特征向量的合集
$$A\ast S=A\ast \left\{\begin{array}{ccc}v1& ...& vn\end{array}\right\}=\left\{\begin{array}{ccc}\lambda 1\ast v1& ...& \lambda n\ast vn\end{array}\right\}=S\ast \lambda$$

$$其中\lambda =\ast \left\{\begin{array}{ccc}\lambda 1& ...& 0\\ ...& \lambda r& ...\\ 0& ...& \lambda n\end{array}\right\}$$

  可得
$$A=S^{-1}\ast \lambda \ast S$$

2.1.2 分解条件

  可以看出来，只有A有n个线性无关的特征向量的时候，才能对角化，如果有n个不同的特征值，必定有n个线性无关的特征向量，但是没有n个不同的特征值，不一定不能进行对角化分解

2.1.3 分解方法

  分解方法就是，只要能够求得特征值和特征向量即可构造矩阵S和λ
  先求特征值
$$A\ast v=\lambda \ast v$$

$$（A-\lambda \ast I）\ast v=0$$

$$求det|A-\lambda \ast I|=0即可解得特征值$$
  再求特征向量
$$求得的特征值代入（A-\lambda \ast I）\ast v=0$$
  求解其零空间即可获得特征向量。如果λ是重根，就看看重根能否在零空间内得到足够的特征向量，否则不能对角化

  有了特征值和特征向量即可实现对角化

2.2 A的幂次运算

  特征值和对角化的一个非常重要的应用是求矩阵A的幂次
$$A=S\ast \lambda \ast S^{-1}$$

$$A^2=S\ast \lambda \ast S^{-1}\ast S\ast \lambda \ast S^{-1}=S\ast {\lambda }^2\ast S^{-1}$$

$${\lambda }^2=\left\{\begin{array}{ccc}{\sigma }_1^2& ...& 0\\ ...& {\sigma }_r^2& ...\\ 0& ...& {\sigma }_n^2\end{array}\right\}$$
  通过这种方式，利用特征值，可以非常方便的求A的高阶幂次
$$A^n=(S\ast \lambda \ast S^{-1}{)}^n=S\ast {\lambda }^n\ast S^{-1}$$

2.3 差分方程

2.3.1 一阶差分方程

  一般来说差分方程对应着幂矩阵的应用(A^k)，微分方程对应着指数矩阵的应用(e^Ak)。
  一阶差分方程写作
$$X_{k+1}=A\ast X_k=A{X}_k=A^k\ast X_0$$
  求解差分方程与A的幂次就有关系了，具体求解方法见2.3.3

2.3.2 高阶差分方程

  高阶差分方程是指带有多阶未知数的方程，一般需要增加一个恒等式，配成一阶差分方程

  比如：求解斐波那契数列
$$X_{k+1}=X_k+X_{k-1}$$

  引入恒等式
$$X_k=X_k$$

  变量代换
$$Y_{k+1}=\left\{\begin{array}{c}{X}_{k+1}\\ X_k\end{array}\right\}$$
$$Y_k=\left\{\begin{array}{c}{X}_k\\ X_{k-1}\end{array}\right\}$$

  则
$$Y_{k+1}=A\ast Yk=\left\{\begin{array}{cc}1& 1\\ 1& 0\end{array}\right\}\ast Yk$$

2.3.3 差分方程的用处

  特征值在差分方程中，可以用于描述一个系统的迭代的终态，或者描述稳定性问题。

  比如
$$X_{k+1}=A{X}_k=A^k\ast X_0$$
  这个方程可以用于描述人口迁移、生物演化、运行系统等。

  如果A可以进行对角化，那么必定有n个特征向量，将X0分解为特征向量的线性组合

$$X0=c1\ast v1+c2\ast v2+...+cn\ast vn$$
  由于A可以对角化
A ∗ { v 1 , v 2 , v 3 . . . , v n } = { v 1 , v 2 , . . . v n } ∗ λ A*\{v_1,v_2,v_3...,v_n\}=\{v_1,v_2,...v_n\}*λ A∗{v1​,v2​,v3​...,vn​}={v1​,v2​,...vn​}∗λ
  A的幂次乘以特征向量得到
$$A^2\ast v_1=A\ast A\ast v_1=A\ast {\lambda }_1\ast v_1={\lambda }_1\ast A\ast v_1={\lambda }_1^2\ast v_1$$
  所以，迭代方程可以表示为
$$X_k=c_1\ast {\lambda }_1^k\ast v_1+...+c_n\ast {\lambda }_n^k\ast v_n$$
  会有这些情况

• 如果有一个特征值为1，其他特征值全部小于1，最终系统会达到稳定状态，也就是特征值1的那个特征向量
• 如果全部特征值都小于1，系统最终会退化，向量结果会全部趋近0。原点被称为吸引子
• 如果特征值全部都大于1，系统最终会发散，向量结果全部趋于无穷大。向量会远离原点。这个时候原点称为排斥子
• 如果部分特征值大于1，部分特征值小于1，向量的某些方向会趋近于原点，某些方向会远离原点，结果依然发散。原点被称为鞍点
• 如果特征值部分含有虚数，必定具有旋转分量。如果v1和v2的共轭特征值的模大于1，会在v1和v2平面上远离原点旋转。如果共轭特征值的模小于1，会在v1和v2平面上靠近原点旋转。如果模等于1，就是圆旋转

2.4 求解微分方程

2.4.1 微分方程的求解

$$X^{\prime }(t)=A\ast X(t)$$
  回忆差分方程的求解是先找到了方程的特解X0，然后将特解用特征向量进行分解，Xk就是特征值与特征向量乘积的组合了
$$X(0)=c_1\ast v_1+...+c_n\ast v_n$$

$$X(k)=c1\ast {\lambda }_1^k{\ast }_1+....+cn\ast {\lambda }_k^k\ast v_n$$
  在微分方程中，其实就是用特征值的指数替换了特征值的幂次而已
$$X(0)=c_1\ast v_1+...+c_n\ast v_n$$

$$X(t)=c1\ast e^{{\lambda }_1\ast t}+....+cn\ast e^{{\lambda }_k\ast t}\ast v_n$$

2.4.2 微分方程的稳态

  与差分方程一样，微分方程也有稳态稳态。

• 如果有一个特征值为0，其余特征值小于0，则X(t)中当t趋近于无穷时，结果是一个稳态
• 如果特征值全部大于1，X(t)是发散的，值趋于无穷，零点是一个排斥子
• 如果特征值全部小于1，X(t)是退化的，值趋于0，零点是一个吸引子
• 如果有的特征值大于0，有的特征值小于0，零点是一个鞍点

  因为特征值之和等于矩阵的迹，特征值之积等于矩阵的行列式值，对于2x2矩阵的稳定性判断，我们希望结果是收敛的，必有特征值都小于0，所以有如下判据
$$trace(A)<0$$

$$det(A)>0$$

2.4.3 解耦合

  如果能够把X(t)中全部的变量单独分解开来，一个方程中都是自己的导数，就是一种解耦合。只要把系数矩阵A变成λ，就保证了每个变量的导数都只和自己有关，即实现了解耦合。使用特征向量可以实现解耦合。

  解耦合的作用是在原来混杂的微分方程中，分解出构成他们的独立的变量。找到了各个独立分量之后，原来的耦合的变量，就是根据特征向量重新组合的结果。

  在差分方程中，做的是对X0变成特征向量的线性次数的重新组合；在微分方程中，利用解耦得到独立变量，做的是X(t)变成特征向量的函数次数的重新组合。

（1）变量代换

  使用特征向量S来进行解耦合
$$令X(t)=S\ast Y(t)$$

其 中 S = { v 1 , v 2 , v 3 . . . . . , v n } 其中S=\{v_1,v_2,v_3.....,v_n\} 其中S={v1​,v2​,v3​.....,vn​}
  把X替换后可以得到
$$S\ast Y^{\prime }(t)=A\ast S\ast Y(t)$$

（2）解耦合

  下面求解函数Y(t)我们知道
$$A=S\ast \lambda \ast S^{-1}$$
  可以得到
$$S\ast Y^{\prime }(t)=S\ast \lambda \ast Y(t)$$

  两边同时乘以S^-1,实现了微分方程的解耦
$$Y^{\prime }(t)=\lambda \ast Y(t)$$

$$\left\{\begin{array}{c}{y}_1^{\prime }(t)\\ .....\\ y_n^{\prime }(t)\end{array}\right\}=\left\{\begin{array}{ccc}{\lambda }_1& ...& 0\\ ...& ...& ...\\ 0& ...& {\lambda }_n\end{array}\right\}\ast \left\{\begin{array}{c}{y}_1(t)\\ .....\\ y_n(t)\end{array}\right\}$$

  解得Y(t)
$$Y(t)=\left\{\begin{array}{c}c1\ast e^{\lambda 1\ast t}\\ .....\\ cn\ast e^{\lambda n\ast t}\end{array}\right\}$$

(3)使用解耦合结果可以验证微分方程特征值公式

  原来的变量x其实就是y的解耦合微分方程组的线性组合。Y(t)其实可以理解为X(t)在各个特征向量方向上的分量
$$X(t)=S\ast Y(t)=c1\ast e^{\lambda 1\ast t}\ast v1+....+cn\ast e^{\lambda n\ast t}\ast vn$$

2.4.4 指数矩阵的意义

  如果保留了矩阵求解微分方程可以得到一个指数矩阵
$$X^{\prime }(t)=A\ast X(t)$$

$$X(t)=e^{A\ast t}\ast X(0)$$

  如果通过特征向量拆解为解耦合微分方程组
$$Y^{\prime }(t)=\lambda \ast Y(t)$$

$$Y(t)=e^{\lambda \ast t}\ast Y(0)$$

$$X(t)=S\ast Y(t)=S\ast e^{\lambda \ast t}\ast S^{-1}\ast X(0)$$
  如何理解这个指数矩阵呢？这个可以用个泰勒公式展开进行进一步表达
$$e^{A\ast t}=I+A\ast t+\frac{(A\ast t{)}^2}{2}+....+\frac{(A\ast t{)}^n}{n!}$$
  如果用SλS^-1代替A
$$e^{A\ast t}=I+S\ast \lambda \ast S^{-1}+....+\frac{S\ast {\lambda }^n\ast S^{-1}\ast t^n}{n!}=S\ast e^{\lambda }\ast S^{-1}$$

2.4.5 求解二阶微分方程的原理和方法

  二阶微分方程与二阶差分方程类似，也可以通过配一个恒等式的方法，把二阶微分方程变成一阶的微分方程

2.5 马尔科夫链与稳态

2.5.1 马尔科夫矩阵

  马尔科夫矩阵是一种求解演化问题的概率矩阵，比如每年城市人口和乡村人口都会发生变迁，城市人口有10%的流入农村，而农村人口会有20%流入城市，则可以构建下列的迁入迁出矩阵
$$T=\left\{\begin{array}{cc}0.1& 0.8\\ 0.9& 0.2\end{array}\right\}$$
  具有以下特征

• 所有元素必定大于0
• 所有列的和都为1
• 1必定是马尔科夫矩阵的一个特征值，其余都小于1

  
$$A-\lambda I=\left\{\begin{array}{cc}a11-\lambda & a12\\ a21& a22-\lambda \end{array}\right\}$$
  把所有数都加到最后一列
$$A-\lambda I=\left\{\begin{array}{cc}a11-\lambda & a12\\ a21+a11-\lambda & a12+a22-\lambda \end{array}\right\}$$
  由各列之和为1可得
$$A-\lambda I=\left\{\begin{array}{cc}a11-\lambda & a12\\ 1-\lambda & 1-\lambda \end{array}\right\}$$
  λ=1时有一行为0，必定使得行列式值为0，所以λ是一个特征值

2.5.2 稳态

  延续上面的人口迁移问题,若第一年城市人口x1，农村人口x2，第二年呢?

$$x{1}^{\prime }=0.9\ast x1+0.2\ast x2$$

$$x{2}^{\prime }=0.1\ast x1+0.8\ast x2$$

  可以写作差分方程

$$X_2=T\ast X_1$$
  n年之后的人口为
$$X_n=T^n\ast X_1$$

  所以差分方程对角化展开式可以写作
$$X_n=c_1\ast {\lambda }_1^n\ast v_1+...+c_k\ast {\lambda }_k^n\ast v_k$$
  因为其中一个特征值为1，其余所有特征值小于1，所以随着时间推移，最终人口总数会趋于恒定，是一个常量