线性算法及应用(3)

n阶差分方程

• n阶齐次线性差分方程$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_n{y}_k=0$，可以写成一阶差分方程$x_{k+1}=A{x}_k,A\in R^{n\times n}$

• 对于$x_{k+1}=A{x}_k$，如果$A$拥有n个线性无关的特征向量$v_1,\cdots ,v_n$ (当仅当$A$可对角化)，并且满足$|{\lambda }_1|\ge \cdots \ge |{\lambda }_n|$，${\lambda }_1$叫做主特征值，那么 S p a n { v 1 , ⋯   , v n } = R n Span\{v_1,\cdots,v_n\} = R^n Span{v1​,⋯,vn​}=Rn，对于任意初始状态都有唯一的$x_0=c_1{v}_1+\cdots +c_n{v}_n$，于是动力系统可以写作：
  $$x_k=A^k{x}_0=c_1{\lambda }_1^k{v}_1+\cdots +c_n{\lambda }_n^k{v}_n,k=0,1,\cdots$$

• Predator-Prey System：如果$|{\lambda }_1|\ge 1,1>|{\lambda }_2|\cdots \ge |{\lambda }_n|$，那么对于足够大的$k$，有：$x_k\approx c_1{\lambda }_1^k{v}_1$ 以及 $x_{k+1}\approx {\lambda }_1{x}_k$

• The Power Method：

  • 由于$x_k=A^k{x}_0\to c_1({\lambda }_1{)}^k{v}_1$，就是说$x_k$会越来越靠近$v_1$所在的特征子空间。
  • 选取最大元素是1的起始向量$y_0$；迭代：计算$s_k=A{y}_k$，令${\mu }_k$是其中绝对值最大的向量元素，计算$y_{k+1}=s_k/{\mu }_k$
  • 几乎所有的$y_0$选择，迭代多次后， { μ k } \{\mu_k\} {μk​}收敛于主特征值${\lambda }_1$， { y k } \{y_k\} {yk​}收敛于$v_1$

• The Inverse Power Method：

  • 对于$B=(A-\alpha I{)}^{-1}$，那么$B$的特征值为$\frac{1}{{\lambda }_1-\alpha },\cdots ,\frac{1}{{\lambda }_n-\alpha }$，并且对应的特征向量等于$v_1,\cdots ,v_n$；如果$\alpha$靠近${\lambda }_i$，那么$\frac{1}{{\lambda }_i-\alpha }$是$B$的主特征值。
  • 选取一个接近${\lambda }_i$的$\alpha$以及最大元素是1的初始向量$y_0$；迭代：计算$s_k=B{y}_k$，令${\mu }_k$是其中绝对值最大的向量元素，计算$v_k=\alpha +\frac{1}{{\mu }_k}$和$y_{k+1}=s_k/{\mu }_k$
  • 几乎所有的$y_0$选择，迭代多次后， { v k } \{v_k\} {vk​}收敛于特征值${\lambda }_i$， { y k } \{y_k\} {yk​}收敛于$v_i$

• 三角阵$A\in R^{n\times n}$的特征值就是主对角线元素$A_{ii}$，对应的特征向量是齐次方程$(A-A_{ii}I)x=0$的解空间；特别地，$e_1$是特征向量，并对应于${\lambda }_1$

• 对角阵$A\in R^{n\times n}$的特征值就是主对角线元素$A_{ii}$，对应的特征向量是单位向量$e_i$

• 如果$A$可对角化，那么$A=PD{P}^{-1}$，$P=[v_1,\cdots ,v_n],D=diag({\lambda }_1,\cdots ,{\lambda }_n)$；

  则$x_{k+1}=A{x}_k$可以转化成$y_{k+1}=D{y}_k$，其中$y_k=P^{-1}{x}_k$ (也就是说，$[x_k{]}_P=y_k$)；

  易知，
  $$y_k=D^k{y}_0=c_1{\lambda }_1^k{e}_1+\cdots +c_n{\lambda }_n^k{e}_n,k=0,1,\cdots$$
  其中$y_0=c_1{e}_1+\cdots +c_n{e}_n$，且这里的$c_i$等于$x_0=c_1{v}_1+\cdots +c_n{v}_n$里的$c_i$

差分方程组

• 差分方程组：
  $$\begin{array}{rl}{x}_1^{\prime }=& a_{11}{x}_1+\cdots +a_{1n}{x}_n\\ x_2^{\prime }=& a_{21}{x}_1+\cdots +a_{2n}{x}_n\\ ⋮& \\ x_n^{\prime }=& a_{n1}{x}_1+\cdots +a_{nn}{x}_n\end{array}$$
  其中$x_i$是关于$t$的连续可微函数，$x_i^{\prime }$是对应的导数，$a_{ij}$是常数。

  写作矩阵形式：$x^{\prime }(t)=A\cdot x(t)$
  $$\begin{array}{r}x(t)=\left[\begin{array}{c}{x}_1(t)\\ ⋮\\ x_n(t)\end{array}\right],x^{\prime }(t)=\left[\begin{array}{c}{x}_1^{\prime }(t)\\ ⋮\\ x_n^{\prime }(t)\end{array}\right],A=\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right]\end{array}$$
  方程组的解，定义为关于t的向量函数，它对于所有的$t\ge 0$方程组都成立。

• 解空间

  • 线性：$u^{\prime }=Au,v^{\prime }=Av⟺(cu+dv{)}^{\prime }=A(cu+dv)$
  • 平凡的解：零函数
  • 方程组$x^{\prime }(t)=A\cdot x(t)$的解空间是在$R^n$上的所有连续函数集合的子空间。
  • 对于n阶方阵$A$，存在n个线性无关的函数，使得每一个解都可以被它们唯一线性表出；这组函数叫做基本解集 (fundamental set of solutions)，是解空间 (函数的n维向量空间) 的一组基。

• 例如方程组
  $$\begin{array}{r}\left[\begin{array}{c}{x}_1^{\prime }(t)\\ x_2^{\prime }(t)\end{array}\right]=\left[\begin{array}{cc}3& 0\\ 0& -5\end{array}\right]\left[\begin{array}{c}{x}_1(t)\\ x_2(t)\end{array}\right]\end{array}$$
  那么所有的解可表示为
  $$\begin{array}{r}\left[\begin{array}{c}{x}_1(t)\\ x_2(t)\end{array}\right]=\left[\begin{array}{c}{c}_1{e}^{3t}\\ c_2{e}^{-5t}\end{array}\right]=c_1\left[\begin{array}{c}1\\ 0\end{array}\right]e^{3t}+c_2\left[\begin{array}{c}0\\ 1\end{array}\right]e^{-5t}\end{array}$$
  这个方程组中，每个导数只和本身有关 (含有多个变量的数学方程变成能够用单个变量表示的方程组)，叫做解耦的 (decoupled)

• 如果$x(t)=v{e}^{\lambda t}$是$x^{\prime }=Ax$的解，那么有$x^{\prime }(t)=\lambda v{e}^{\lambda t}=Ax(t)=Av{e}^{\lambda t}$，从而$Av=\lambda v$，即$A$的每个特征值-特征向量对都确定一个解，叫做差分方程组的特征函数(eigenfunctions)。可以证明，任意差分方程组$x^{\prime }=Ax$，每一个解都是形如$x(t)=v{e}^{\lambda t}$的函数的线性组合：$x(t)={\sum }_i{c}_i{v}_i{e}^{{\lambda }_{i}t}$，其中的$c_i$可由初值$x(0)$确定。

• 动力系统的解耦：如果$A$可对角化，$A=PD{P}^{-1}$，令$y(t)=P^{-1}x(t)$，那么$y^{\prime }=Dy⟺x^{\prime }=Ax$
  $$y(t)=\left[\begin{array}{c}{c}_1{e}^{{\lambda }_{1}t}\\ ⋮\\ c_n{e}^{{\lambda }_{n}t}\end{array}\right],\left[\begin{array}{c}{c}_1\\ ⋮\\ c_n\end{array}\right]=y(0)=P^{-1}x(0)$$
  向量$y(t)$的每一个分量$y_i(t)$都仅与某一个特征值相关。

• 如果$\lambda$是$A$的复特征值，对应特征向量$v$，那么$x_1(t)=v{e}^{\lambda t}$和$x_2(t)=\bar{v}{e}^{\bar{\lambda }t}$是$x^{\prime }=Ax$的一对复数解，且$x_2(t)=\overline{x_1(t)}$，于是$Re(x_1(t))=\frac{x_1(t)+\overline{x_1(t)}}{2}$，$Im(x_1(t))=\frac{x_1(t)-\overline{x_1(t)}}{2i}$是方程组的一对实数解。

• 如果$\lambda =a+bi$，那么由于$e^{(a+bi)t}=e^{at}(\cos bt+i\sin bt)$，因此：
  $$\begin{array}{r}{y}_1(t)=Re(x_1(t))=[Re(v)\cos bt-Im(v)\sin bt]e^{at}\\ y_2(t)=Im(x_1(t))=[Re(v)\cos bt+Im(v)\sin bt]e^{at}\end{array}$$
  当$b\ne 0$时，实数解$y_1,y_2$线性无关。