线性代数 --- 特征值与特征向量（下）

松下J27

已于 2024-04-21 21:55:26 修改

阅读量1.5k

点赞数 31

分类专栏： Linear Algebra 文章标签：线性代数 QR分解特征向量特征值 eigen value eigen vector

于 2024-03-10 21:06:01 首次发布

本文链接：https://blog.csdn.net/daduzimama/article/details/136608493

版权

Linear Algebra 专栏收录该内容

68 篇文章 60 订阅

订阅专栏

特征值与特征向量

Eigen Values & Eigen Vectors

Part III:如何求解特征向量与特征值

The Key Equation

$\mathbf{det(A-\lambda I)=0}$

对于一般矩阵A，如何找到他的特征值与特征向量？

Step I: Find λ first!

首先，我们有方程：

$Ax=\lambda x$

但这里有两个未知数，因此我们把上面的方程改写一下：

$Ax=\lambda x\Rightarrow Ax=\lambda Ix\Rightarrow (A-\lambda I)x=0$

这个齐次方程的解就是矩阵(A- $\lambda$ I)的零空间，抛开平凡解全0向量不说。要想让矩阵的零空间存在非零向量，则矩阵的A必为奇异矩阵，即不可逆矩阵。同时，结合之前学到的行列式的概念，若一个矩阵是奇异矩阵，则矩阵的行列式为0。这样一来，我们就不用考虑未知数x，也就是特征向量，先求未知数 $\lambda$ ，也就是特征值。如下：

$det(A-\lambda I)=0$

这个方程是一个非常重要的方程(Key equation)，叫特征值方程(Eigen-value equation)或者叫特征方程(characteristic equation)。

Step II: Substitue λ and solve equations!

求解完特征值方程后会得到n个 $\lambda$ (可能会有几个相同的 $\lambda$ )，把这些 $\lambda$ 代入到改写后的方程组 $(A-\lambda I)x=0$ 中，求解该方程组(或者说是求解零空间)，得到相应的特征向量x。

举个例子来说明上述的求解过程：

$A=\begin{bmatrix} 0 &1 \\ 1& 0 \end{bmatrix}$

对于上面提到过的置换矩阵A，第一步，我们先求det(A-λI)=0：

$det(A-\lambda I)=\begin{vmatrix} -\lambda &1 \\ 1& -\lambda \end{vmatrix} =0$

得到：

$\lambda ^{2}-1=0\Rightarrow \lambda ^{2}=1$

由此得到两个特征根：

$\lambda _{1}=1, \lambda _{2}=-1$

把第一个特征值λ=1代入改写后的方程：

$(A-\lambda I)x=0\Rightarrow (A-I)x=0$

其中(A-I)为：

$A-I=\begin{bmatrix} -1 &1 \\ 1& -1 \end{bmatrix}$

对该矩阵消元得到矩阵U，找到主元列和自由列，其中与自由列位置所对应的向量x中的元素就是自由变量。设自由变量为一个任意数，求出相应的特解。

$U=\begin{bmatrix} -1 &1 \\ 0& 0 \end{bmatrix}\Rightarrow -x_{1}+x_{2}=0$

消元矩阵U的秩为1，存在一个特解。第一列为主元列，第二列为自由列。因此，对应的自由变量为x2。令x2=1，则x1=1得到一个特解，也就是我们要找的特征向量x:

$x=\begin{bmatrix} 1\\ 1 \end{bmatrix},\lambda _{1}=1$

相应的代入第二个特征值λ=-1：

$(A-\lambda I)x=0\Rightarrow (A+I)x=0$

$A+I=\begin{bmatrix} 1 &1 \\ 1& 1 \end{bmatrix}$

$U=\begin{bmatrix} 1 &1 \\ 0& 0 \end{bmatrix}\Rightarrow x_{1}+x_{2}=0$

令自由变量x2=1,则x1=-1:

$x=\begin{bmatrix} -1\\ 1 \end{bmatrix},\lambda _{2}=-1$

这里我们顺便基于矩阵的行列式和迹来验证一下两个特征根：

$Trace=0+0=0$ $\lambda _{1}+\lambda _{2}=-1+1=0$

$det(A)=0-1=-1$ $\lambda _{1}*\lambda _{2}=-1*1=-1$

特例 I：多个重复/相同的特征值会引发特征向量的短缺

令矩阵A为：

$A=\begin{bmatrix} 3 &1 \\ 0&3 \end{bmatrix}$

先求特征值：

$det(A-\lambda I)=\begin{vmatrix} 3-\lambda & 1\\ 0& 3-\lambda \end{vmatrix}=(3-\lambda)^{2}=0$

这会得到两个重复的特征值：

$\lambda _{1}=3,\lambda _{2}=3$

带入其中一个特征值，并求特征向量：

$(A-\lambda I)x=0\Rightarrow (A-3I)x=0$

$A-3I=\begin{bmatrix} 0 &1 \\ 0& 0 \end{bmatrix}$

$U=\begin{bmatrix} 0 &1 \\ 0& 0 \end{bmatrix}\Rightarrow x_{2}=0$

令自由变量x1=1，得到:

$x=\begin{bmatrix} 1\\ 0 \end{bmatrix},\lambda _{1}=3$

现在问题来了，如果你代入第二个特征向量(还是3)，并重复上述操作，你是无法找到一个与第一个特征向量线性无关的另一个特征向量了。最多你只是令自由变量x1为一个其他数，然后得到一个特征向量，但最终你得到的这个特征向量与之前得到的那个是线性相关的。

这个例子说明了一个矩阵的特征向量的线性相关性即取决于矩阵的维数也取决于是否存在重复的特征值。对于一个 2x2 的方阵，如果它有两个不同的特征值，那么就能得到两个线性无关的特征向量。但如果是两个重复的特征值，就只能得到一个特征向量或两个线性相关的特征向量。

特例 II：特征根为复数的情况

已知旋转矩阵Q，求Q的特征向量和特征值：

$Q=\begin{bmatrix} 0 & -1\\ 1& 0 \end{bmatrix}$

这个旋转矩阵Q的作用是把任意向量旋转90°，这里我们会遇到问题。根据特征向量的意义，当矩阵Q作用于特征向量x后，向量Qx的方向应当与x相同。但这个要求明显与旋转矩阵Q的作用向左。换句话说，我们需要找出一个向量，他旋转90°仍在原处。

其次，根据特征值的性质，我们同样也会发现类似的"Bug"。首先，这是一个2x2矩阵，因此有两个特征值 $\lambda _{1},\lambda _{2}$ 。其次，我们还知道矩阵的迹等于两个特征值的和，矩阵的行列式等于两个特征值的乘积：

$Trace=\lambda _{1}+\lambda _{2}=0$

$Det=\lambda _{1}\cdot \lambda _{2}=1$

从第一个等式上说 $\lambda _{1},\lambda _{2}$ 必定是一正一负，而如果这样的话他们的乘积必定是负数，这和第二个等式相违背。

现在，我们按照一般的方法去求解：

$det(Q-\lambda I)=\begin{vmatrix} -\lambda &-1 \\ 1& -\lambda \end{vmatrix}=\lambda ^{2}+1=0\Rightarrow \lambda ^{2}=-1$

最终得到两个复根：

$\begin{matrix} \lambda _{1}=i\\ \lambda _{2}=-i \end{matrix}$

这两个复数的特征值正好满足和为0，且乘积为1。

带入第一个特征根i：

$(Q-\lambda I)x=0\Rightarrow (Q-iI)x=0$

$Q-iI=\begin{bmatrix} -i &-1 \\ 1& -i \end{bmatrix}$

$U=\begin{bmatrix} -i &-1 \\ 0& 0 \end{bmatrix}\Rightarrow -ix_{1}-x_{2}=0$

令自由变量x2=1,得到x1=1/-i=i:

$x=\begin{bmatrix} i\\ 1 \end{bmatrix},\lambda _{1}=i$

带入第二个特征根-i：

$(Q-\lambda I)x=0\Rightarrow (Q+iI)x=0$

$Q+iI=\begin{bmatrix} i &-1 \\ 1& i \end{bmatrix}$

$U=\begin{bmatrix} i &-1 \\ 0& 0 \end{bmatrix}\Rightarrow ix_{1}-x_{2}=0$

令自由变量x2=1,得到x1=1/i=-i:

$x=\begin{bmatrix} -i\\ 1 \end{bmatrix},\lambda _{2}=-i$

（全文完）

作者 --- 松下J27

参考文献(鸣谢)：

1，Introduction to Linear Algebra，Fifth Edition - Gilbert Strang

2，麻省理工Gilbert Strang教授线代大师-线性代数（全）_哔哩哔哩_bilibili

（配图与本文无关）