滤波算法数学前置——特征值与特征向量

对于一个给定的线性变换$A$，其特征向量$v$经过这个线性变换的作用后，得到的新向量仍然与原来的$v$保持在同一条直线上。即
$$Av=\lambda v$$
其中$\lambda$为标量，即特征向量的长度在该变换下的缩放比例，称为特征值。

如何求解特征值与特征向量？

假设：
$$A=\left[\begin{array}{cc}1& 1\\ 4& -2\end{array}\right]$$
则：
$$\begin{array}{rl}Av& =\lambda v\\ Av-\lambda v& =0\\ (A-\lambda I)v& =0\\ |A-\lambda I|& =0\\ \left|\begin{array}{cc}1-\lambda & 1\\ 4& -2-\lambda \end{array}\right|& =0\\ (1-\lambda )(-2-\lambda )-1\times 4& =0\\ & \\ 解得：{\lambda }_1& =2\\ {\lambda }_2& =-3\end{array}$$
带回方程，当${\lambda }_1=2$时：
$$\begin{array}{rl}(A-2I)v_1& =0\\ \left[\begin{array}{cc}-1& 1\\ 4& -4\end{array}\right]\left[\begin{array}{c}{v}_{11}\\ v_{12}\end{array}\right]& =0\\ & \\ 得：v_{11}& =v_{12}\\ 即：v_1& =\left[\begin{array}{c}1\\ 1\end{array}\right]\end{array}$$
即$y=x$这条直线上除零向量外任意一点为一组特征向量解

同理，当${\lambda }_2=-3$时：
$$v_2=\left[\begin{array}{c}1\\ -4\end{array}\right]$$

应用：将矩阵化为对角矩阵，起解耦作用。

由于$A$有两个线性无关的特征向量，故可以对角化。

令$P=[v_1{v}_2]$，$P$称为过渡矩阵，

则：
$$\begin{array}{rl}AP& =A[v_1{v}_2]\\ & =A\left[\begin{array}{cc}{v}_{11}& v_{21}\\ v_{12}& v_{22}\end{array}\right]\\ & =\left[\begin{array}{c}A\left[\begin{array}{c}{v}_{11}\\ v_{12}\end{array}\right]A\left[\begin{array}{c}{v}_{21}\\ v_{22}\end{array}\right]\end{array}\right]\\ & =\left[\begin{array}{c}{\lambda }_1\left[\begin{array}{c}{v}_{11}\\ v_{12}\end{array}\right]{\lambda }_2\left[\begin{array}{c}{v}_{21}\\ v_{22}\end{array}\right]\end{array}\right]\\ & =\left[\begin{array}{cc}{\lambda }_1{v}_{11}& {\lambda }_2{v}_{21}\\ {\lambda }_1{v}_{12}& {\lambda }_2{v}_{22}\end{array}\right]\\ & =\left[\begin{array}{cc}{v}_{11}& v_{21}\\ v_{12}& v_{22}\end{array}\right]\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]\\ & =P\Lambda \end{array}$$

得：

$$P^{-1}AP=\Lambda$$
其中$\Lambda$称为对角矩阵

考虑微分方程组：
$$\begin{array}{rl}& \begin{array}{ccc}\frac{d{x}_1}{dt}& =& x_1+x_2\\ \frac{d{x}_2}{dt}& =& 4x_1-2x_2\end{array}\\ \Rightarrow & \frac{d}{dt}\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 4& -2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ \Rightarrow & \dot{x}=Ax\end{array}$$

$$\begin{array}{rl}令：x& =Py(基变换)\\ \dot{x}& =P\dot{y}\\ Ax& =APy\\ P\dot{y}& =APy\\ \dot{y}& =P^{-1}APy\\ \dot{y}& =\Lambda y\\ \dot{y}& =\left[\begin{array}{cc}2& 0\\ 0& -3\end{array}\right]y\\ & \Rightarrow \begin{array}{cccc}& {\dot{y}}_1& =& 2y_1\\ & {\dot{y}}_2& =& -3y_2\end{array}\\ & \Rightarrow \begin{array}{cccc}& y_1& =& C_1{e}^{2t}\\ & y_2& =& C_2{e}^{-3t}\end{array}\\ 则：x& =Py\\ & =\left[\begin{array}{cc}1& 1\\ 1& -4\end{array}\right]\left[\begin{array}{c}{C}_1{e}^{2t}\\ C_2{e}^{-3t}\end{array}\right]\\ & =\left[\begin{array}{ccc}{C}_1{e}^{2t}& +& C_2{e}^{-3t}\\ C_1{e}^{2t}& -& 4C_2{e}^{-3t}\end{array}\right]\end{array}$$

注：令$x=Py$作为基变换，相当于以$v_1,v_2$作为新的坐标轴方向，将$x_1,x_2$之间的关系简化解耦了。

总结：

• 特征值与特征向量的定义，$Av=\lambda v$ 在一条直线上

• 如何求解 $\lambda$ 与 $v$

• $P^{-1}AP=\Lambda$，过渡矩阵$P=[v_1{v}_2......],\Lambda$为对角矩阵，元素为依次排列的特征值$\lambda$

• 应用：解微分方程组。
  $$\begin{array}{r}\dot{x}=Ax\\ \Rightarrow x=Py\\ \Rightarrow \dot{y}=\Lambda y\end{array}$$
  最后反解出$x$。

很多时候无需解出方程，可通过判断特征值符号与性质来判断系统稳定性与表现。

对于微分方程组 $\dot{x}=Ax$，系统的“不动点”是原点 $\mathbf{x}=0$。

如果所有特征值的实部都小于零，那么任何初始状态最终都会衰减到原点，系统是稳定的。

如果至少有一个特征值的实部大于零，那么存在一些初始状态会导致解趋向于无穷大，系统是不稳定的。

如果特征值有虚部，代表系统存在振荡行为。