线性代数|机器学习-P5特征值和特征向量

1. 特征值和特征向量

1.1 特征向量

假设有一个n行n列的方阵A，有 n 个不相同的特征值为$\lambda$,特征向量为$x_1,x_2,\cdots ,x_n$.等式如下：
$$\begin{array}{c}A{x}_i={\lambda }_i{x}_i,i=1,\cdots ,n\to A^{2}x={\lambda }^{2}x\end{array}$$

• 特征向量的好处在于，对于向量x来说，$Ax=\lambda x$，通过左乘矩阵A，还是不改变向量的方向，只是按照$\lambda$倍进行缩放。
  $$\begin{array}{c}{A}^{k}x={\lambda }^{k}x\end{array}$$
• 对于微分方程来说
  $$\begin{array}{c}\frac{\mathrm{d}u}{\mathrm{d}t}=Au，{\mathrm{e}}^{At}={\mathrm{e}}^{\lambda t}\end{array}$$
• 通解表示如下：
  $$\begin{array}{c}u(t)=S{e}^{\Lambda t}{S}^{-1}u(0)=e^{At}u(0)\end{array}$$

1.2 向量分解

假设矩阵A有n个线性无关的特征向量，那么对于任意矩阵v来说，可以分解为特征向量的线性组合
$$\begin{array}{c}v=c_1{x}_1+c_2{x}_2+\cdots +c_n{x}_n\end{array}$$

• 两边同时乘以$A^k,A^{k}x={\lambda }^{k}x$:
  $$\begin{array}{c}{A}^{k}v=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+\cdots +c_n{\lambda }_n^k{x}_n\end{array}$$
• 特征向量在差分方程上的应用
  $$\begin{array}{c}{u}_{k+1}=A{u}_k\to u_k=A^k{u}_0={\lambda }^{k}x{u}_0\end{array}$$

2. 矩阵相似

2.1 特征值求解法-相似

假设我们有两个矩阵A,B如果存在一个可逆矩阵M，满足如下关系，可推出A相似于B
$$\begin{array}{c}B=M^{-1}AM\to B\sim A\to A和B有相同的特征值\end{array}$$

• 假设矩阵A的特征值为$\lambda$,特征向量为x,
  $$\begin{array}{c}|B-\lambda I|=|M^{-1}AM-\lambda I|=|M^{-1}AM-M^{-1}\lambda M|=|M^{-1}||A-\lambda I||M|=|A-\lambda I|\end{array}$$
• 所以可得如下：
  $$\begin{array}{c}B\sim A\Rightarrow {\lambda }_A={\lambda }_B\end{array}$$
• Matlab中如何求解特征值
  对于给定的矩阵A来说，我们用一个可逆矩阵$M_1$右乘矩阵A，左乘$M_1^{-1}$，使得矩阵A逐渐变成上三角矩阵，通过不断地左右乘$M1,M2$,最后得到一个上三角矩阵B，这样我们就通过相似的形式得到主对角线上的特征值了。
  $$\begin{array}{c}B={(M_n\cdots M_2{M}_1)}^{-1}A(M_n\cdots M_2{M}_1)\to B_{UpTriangle}\sim A\to A和B有相同的特征值\end{array}$$

2.2 特殊特征值

假设我们有两个矩阵A,B,令AB的特征值为${\lambda }_{AB}$,特征向量为x,令BA的特征值为${\lambda }_{BA}$,证明${\lambda }_{AB}={\lambda }_{BA}$

• 根据定义可得：
  $$\begin{array}{c}ABx={\lambda }_{AB}x\end{array}$$
• 两边同时乘以B可得：
  $$\begin{array}{c}BABx={\lambda }_{AB}Bx\to (BA)(Bx)={\lambda }_{AB}(Bx)\to {\lambda }_{AB}={\lambda }_{BA}\end{array}$$

2.3 反对称矩阵

假设我们有一个矩阵A表示如下：
$$\begin{array}{c}A=\left[\begin{array}{cc}0& 1\\ & \\ -1& 0\end{array}\right]\to A^T=-A\end{array}$$

• 矩阵A实现的功能是将向量x顺时针旋转90°。
  
• 求矩阵A的特征值和特征向量如下：
  $$\begin{array}{c}{\lambda }_1=i,v_1=\left[\begin{array}{c}1\\ \\ i\end{array}\right];{\lambda }_2=-i,v_1=\left[\begin{array}{c}1\\ \\ -i\end{array}\right];S=\left[\begin{array}{cc}1& 1\\ & \\ i& -i\end{array}\right];\Lambda =\left[\begin{array}{cc}i& 0\\ & \\ 0& -i\end{array}\right];\end{array}$$
• 分解A如下：
  $$\begin{array}{c}A=S\Lambda S^{-1}\Rightarrow \left[\begin{array}{cc}0& 1\\ & \\ -1& 0\end{array}\right]=\left[\begin{array}{cc}1& 1\\ & \\ i& -i\end{array}\right]\left[\begin{array}{cc}i& 0\\ & \\ 0& -i\end{array}\right]{\left[\begin{array}{cc}1& 1\\ & \\ i& -i\end{array}\right]}^{-1};\end{array}$$

3.对称矩阵

对称矩阵具有实数特征值和正交的特征向量。我们定义矩阵A如下：
$$\begin{array}{c}A=\left[\begin{array}{cc}0& 1\\ & \\ 1& 0\end{array}\right]\to {\lambda }_1=1,v_1=\left[\begin{array}{c}1\\ \\ 1\end{array}\right];{\lambda }_2=-1,v_2=\left[\begin{array}{c}-1\\ \\ 1\end{array}\right];\end{array}$$

• 可得如下：
  $$\begin{array}{c}A=S\Lambda S^{-1}\to \left[\begin{array}{cc}0& 1\\ & \\ 1& 0\end{array}\right]=\left[\begin{array}{cc}1& 1\\ & \\ 1& -1\end{array}\right]\left[\begin{array}{cc}1& 0\\ & \\ 0& -1\end{array}\right]{\left[\begin{array}{cc}1& 1\\ & \\ 1& -1\end{array}\right]}^{-1}\end{array}$$