如何理解特征值和特征向量

学完线性代数的同学,可能会对线性代数的很多概念有所疑惑.

这个东西有什么用?那个玩意定义出来有什么意义?

本文将探讨线性代数中及其重要的两个概念:特征值与特征向量.

(PS:下文中的矩阵$A$均认为是方阵)

---

矩阵不单单是二维的数组,它更重要的角色是映射:$\vec{y}=A\vec{x}$

$\vec{y}=A\vec{x}$就相当于$\vec{y}=f(\vec{x})$,矩阵$A$是把向量$\vec{x}$映射到向量$\vec{y}$的一个函数,或者说,映射,算子.

---

从一般的角度看,这个映射无非就是矩阵乘向量,说得具体一点,就是n次的向量点积计算.

(矩阵的一行乘上向量,并对结果向量的所有元素求和,就是一次点积)

错!实际上,这个映射本质是一个缩放操作.

---

举一个简单的例子,矩阵$A= \left( \begin{array}{ccc} 4 & -2 \\ 3 & -1 \end{array} \right)$

它的特征值分别是2和1,特征向量是$\left( \begin{array}{ccc}1\\1\end{array} \right)$和$\left( \begin{array}{ccc}2\\3\end{array} \right)$.

设向量$\vec{x}=\left( \begin{array}{ccc}1\\2\end{array} \right)$,那么显然结果$\vec{y}=A\vec{x}=\left( \begin{array}{ccc}0\\1\end{array} \right)$.

---

我们使用另一种方法计算,首先我们将$\vec{x}$表示成特征向量$\left( \begin{array}{ccc}1\\1\end{array} \right)$和$\left( \begin{array}{ccc}2\\3\end{array} \right)$的线性组合,即:

$\vec{x}=\left( \begin{array}{ccc}1\\2\end{array} \right)=-1*\left( \begin{array}{ccc}1\\1\end{array} \right) + 1* \left( \begin{array}{ccc}2\\3\end{array} \right)$

然后,我们将特征值和对应的系数相乘,得到:
$\vec{y}=-1*2*\left( \begin{array}{ccc}1\\1\end{array} \right) + 1*1* \left( \begin{array}{ccc}2\\3\end{array} \right)=-2*\left( \begin{array}{ccc}1\\1\end{array} \right) + 1* \left( \begin{array}{ccc}2\\3\end{array} \right)$

显然,如果你继续计算下去,你也会得到$\vec{y}=\left( \begin{array}{ccc}0\\1\end{array} \right)$

特征值和特征向量的意义就在于此!

矩阵所充当的映射,实际上就是对特征向量的缩放,每个特征向量的缩放程度就是特征值.

因此,我们需要将向量$\vec{x}$表示成特征向量的线性组合(相当于以特征向量为基),得到相应的特征向量的权重.

然后,每个权重与特征值相乘,就是这个映射最本质的缩放操作.

---

基于这样的理解,我们可以很简单地解释很多结论.

---

1.对角化分解

对角化分解实际上就是我们解释特征值含义的过程.

$A=P\Lambda P^{-1}$,其中$P$是由特征向量组成的矩阵,$\Lambda$是由特征值组成的对角矩阵.

---

在解释对角化分解之前,我们还要先解释矩阵的另一个含义.

对于$\vec{z}=P\vec{y}$,事实上矩阵$P$还有其他含义,比如在这里有转换基向量的含义:

• $\vec{y}$是特征向量为基所表示的向量,上文$\vec{y}=-2*\left( \begin{array}{ccc}1\\1\end{array} \right) + 1* \left( \begin{array}{ccc}2\\3\end{array} \right)$,那么$\vec{y}$在特征向量为基的表示是$\vec{y}=\left( \begin{array}{ccc}-2\\1\end{array} \right)$

  • $\vec{z}$则是坐标轴为基所表示的向量,假如$\vec{z}$的表示为$\vec{z}=\left( \begin{array}{ccc}0\\1\end{array} \right)$,相当于$\vec{z}=0*\left( \begin{array}{ccc}1\\0\end{array} \right) + 1* \left( \begin{array}{ccc}0\\1\end{array} \right)$

  • 那么$\vec{z}=P\vec{y}$的含义就是把一个向量从特征向量为基的表示$\vec{y}$,转变成以坐标轴为基的表示$\vec{z}$.

    相应,$\vec{y}=P^{-1}\vec{x}$的含义则相反,是把一个向量从坐标轴为基的表示$\vec{x}$,转变成以特征向量为基的表示$\vec{y}$.

    ---

    那么$\vec{y}=A\vec{x}=P\Lambda P^{-1} \vec{x}$,我们就可以解释了.

    首先,$P^{-1}\vec{x}$是将$\vec{x}$转变成用特征向量表示,上文$\vec{x}=\left( \begin{array}{ccc}1\\2\end{array} \right)=-1*\left( \begin{array}{ccc}1\\1\end{array} \right) + 1* \left( \begin{array}{ccc}2\\3\end{array} \right)$,就是把$\left( \begin{array}{ccc}1\\2\end{array} \right)$变成了$\left( \begin{array}{ccc}-1\\1\end{array} \right)$.

    然后$\Lambda P^{-1} \vec{x}$,就是对应的特征值与权重作乘法,得到$\left( \begin{array}{ccc}-2\\1\end{array} \right)$.

    最后$\vec{y}=P\Lambda P^{-1} \vec{x}$,就是把$\left( \begin{array}{ccc}-2\\1\end{array} \right)$重新转换成坐标轴为基的表示,得到$\left( \begin{array}{ccc}0\\1\end{array} \right)$.

    ---

    2.逆矩阵的特征值分别是原矩阵特征值的倒数

    是因为原矩阵放大了2倍,逆矩阵就要相应地缩小到原本的$\frac{1}{2}$.

    当然,特征向量要保持对应,因此这也解释了为什么逆矩阵的特征向量和原矩阵一样

    ---

    3.特征值为0,意味着不可逆

    参考第2点,0没有倒数.

    ---

    4.通过解$A\vec{x}=\lambda \vec{x}$来寻找特征值

    显然,在这里$\lambda$是特征值,$\vec{x}$是特征向量.

    把$\vec{x}$变成以$A$的特征向量为基来表示的话,那么权重肯定只有1个1,其他都为0,那个1对应的特征向量当然是$\vec{x}$本身.

    这个时候进行缩放,那么只有$\vec{x}$的权重被缩放了,其他特征向量的权重都是0,0乘任何数为0.

    那么,$A\vec{x}$的结果就相当于$\lambda \vec{x}$了,因为$\lambda \vec{x}$就是$\vec{x}$作了相应的缩放,缩放因子就是特征值$\lambda$.