线性算法及应用(2)

基础

• 对于$A=[a_1\cdots a_n]\in R^{m\times n}$，

  • 列空间(Column Space)： C o l ( A ) : = S p a n { a 1 , ⋯   , a n } = { A x ∣ x ∈ R n } ⊆ R m Col(A) := Span\{a_1,\cdots,a_n\} = \{Ax|x \in R^n\} \sube R^m Col(A):=Span{a1​,⋯,an​}={Ax∣x∈Rn}⊆Rm

  • 零空间(Null Space)： N u l ( A ) : = { x ∣ A x = 0 ,   x ∈ R n } ⊆ R n Nul(A) := \{x|Ax=0,\,x \in R^n\} \sube R^n Nul(A):={x∣Ax=0,x∈Rn}⊆Rn

• $Col(A)$由所有的使得$Ax=b$有解的那些向量$b$组成。对$A$做初等行变换得到简化行阶梯型矩阵$A^{\prime }$，$A^{\prime }$中枢轴所对应的$A$的列向量集合 { A i } \{A_i\} {Ai​}，就是$Col(A)$的一组基。

• $Nul(A)$就是$Ax=0$的解空间，$dim(Nul(A))$等于线性方程组$Ax=0$的自由变量的个数$k$。分别对自由变量取0或1，得到$k$个线性无关的解向量 { x i } \{x_i\} {xi​}，就是$Nul(A)$的一组基。

• $dim(Col(A))=rank(A)$，$dim(Col(A))+dim(Nul(A))=n$

• 对于线性映射$T:x\mapsto Ax$，$Col(A)$是像(Range)，$Nul(A)$是核(Kernel)。

• 求导数，是线性变换。因此，微分方程$y^{\prime \prime }+cy=0$的解，就是$T:f(t)\mapsto f^{\prime \prime }(t)+cf(t)$的核。

• 若$V=Span(B),x\in V$，其中$B$是一组秩为n的基 (基底并不一定是$R^{m\times n}$的元素)，那么存在唯一的$c\in R^n$，使得$x=Bc$，它叫做$x$的**$B-$坐标**，记为$[x{]}_B$；也就是说，线性变换$[\cdot {]}_B:V\to R^n,x\mapsto [x{]}_B$

• 定义多项式空间 P n = { a 0 + a 1 x + ⋯ + a n − 1 x n − 1 } P_n = \{a_0+a_1x+\cdots+a_{n-1}x^{n-1}\} Pn​={a0​+a1​x+⋯+an−1​xn−1}，那么有同构：$P_n\cong R^{n+1}$

• 三个离散信号 { u k } ,   { v k } ,   { w k } \{u_k\},\,\{v_k\},\,\{w_k\} {uk​},{vk​},{wk​}，它们的Casorati矩阵定义为：
  $$A_k=\left[\begin{array}{ccc}{u}_k& v_k& w_k\\ u_{k+1}& v_{k+1}& w_{k+1}\\ u_{k+2}& v_{k+2}& w_{k+2}\end{array}\right]$$
  若$\exists k$，使得$A_k$可逆，那么三个离散信号相互独立：线性方程组 $c_1{u}_k+c_2{v}_k+c_3{w}_k=0,\forall k$ 只有平凡解。

线性差分方程

• 给定序列 { z k } \{z_k\} {zk​}和标量$a_0,\cdots ,a_n$，n阶线性差分方程 (Linear Difference Equation) 定义为：$a_0{y}_{k+n}+a_1{y}_{k+n-1}+\cdots +a_n{y}_k=z_k$；如 { z k } \{z_k\} {zk​}是零序列，那么方程是齐次的。给定初值$y_0,y-1,\cdots ,y_{n-1}$，那么方程的解 { y k } \{y_k\} {yk​}被唯一确定。

• 数字信号处理中，上述方程也叫线性滤波器 (Linear Filter)，$a_0,\cdots ,a_n$叫做滤波器系数 (Filter Coefficients)， { y k } \{y_k\} {yk​}是输入信号， { z k } \{z_k\} {zk​}是输出信号。

• 如果线性滤波器让低频信号原样输出，但让高频信号的输出结果是零序列，那么叫做低通滤波器。例如，滤波器$\frac{\sqrt{2}}{4}{y}_{k+2}+\frac{1}{2}{y}_{k+1}+\frac{\sqrt{2}}{4}{y}_k=z_k$，低频信号$\cos \frac{\pi k}{4}$，高频信号$\cos \frac{3\pi k}{4}$

• n阶首一齐次线性差分方程$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_n{y}_k=0,\forall k$的解集$H$，它是n维线性空间。定义线性映射 f : { y k } ↦ { z k } f:\{y_k\} \mapsto \{z_k\} f:{yk​}↦{zk​}，则$H=\ker f$，是序列空间$S$的线性子空间。定义线性双射 F : { y k } ∈ H ↦ ( y k [ 0 ] , y k [ 1 ] , ⋯   , y k [ n − 1 ] ) ∈ R n F:\{y_k\} \in H \mapsto (y_k[0],y_k[1],\cdots,y_k[n-1]) \in R^n F:{yk​}∈H↦(yk​[0],yk​[1],⋯,yk​[n−1])∈Rn，两者同构。

• 对于n阶线性差分方程$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_n{y}_k=0$，解为 { y k } \{y_k\} {yk​}；令$x_k=[y_k,y_{k+1},\cdots ,y_{k+n}]$，那么，可以写作一阶差分方程：$x_{k+1}=A\cdot x_k$，且
  $$A=\left[\begin{array}{cccccc}0& 1& 0& 0& \cdots & 0\\ 0& 0& 1& 0& \cdots & 0\\ 0& 0& 0& \ddots & & \\ ⋮& ⋮& ⋮& & & \\ 0& 0& 0& \cdots & 0& 1\\ -a_n& -a_{n-1}& & \cdots & & -a_1\end{array}\right]\in R^{n\times n}$$

Markov Chain

• 马尔可夫链 ： { x k } ,   x k + 1 = P ⋅ x k \{x_k\},\,x_{k+1} = P \cdot x_k {xk​},xk+1​=P⋅xk​，$P$叫做概率转移矩阵 ($P_{ij}$代表从状态$s_i$转移到状态$s_j$的概率，每列加和为1)，概率向量$x_k$叫做状态向量。如果$P\cdot x_k=x_k$，那么称$x_k$是稳定状态向量 (平稳分布)。

• 如果$\exists k,P^k$的元素都严格大于零，那么称$P$是正则的 (regular)；这意味着任意状态$s_i$最终都能够以非零概率到达状态$s_j$，这样的马尔可夫链叫做正则链。注意，正则链的$P$中可能包含0元素。

• 任意马尔可夫链，都至少存在一个稳定分布。但是，状态序列不一定会收敛于平稳分布！

• 正则链的稳定状态向量$q$ 唯一，且从任意状态$x_0$起始，都有：$\underset{k\to \infty }{\lim }{P}^k{x}_0=q$，即 { x k } \{x_k\} {xk​}收敛于$q$

特征

• 一阶差分方程$x_{k+1}=A\cdot x_k$，往往也被称为动力系统 (dynamical system)

• 上述变换往往会改变向量方向，但也有一些特殊的向量$v$，做变换后不改变方向：$Av=\lambda v$，这就是特征值与特征向量了。每一个特征值${\lambda }_i$都对应一个特征子空间，里面的向量都满足$Av={\lambda }_{i}v$，子空间的维度叫做特征值的几何重数，空间基底记为$B_i$

• $\lambda \in C$是特征值，当仅当$\exists 0\ne x\in C^n,(A-\lambda I)x=0$；三角阵的特征值就是它的主对角线元素，此时阶梯方阵$A-\lambda I$的解存在至少一个自由变量。

• 如果特征向量$v_1,\cdots ,v_r$对应不同的特征值${\lambda }_1,\cdots ,{\lambda }_r$，那么这组向量线性无关。

• 任取$A$的一个特征向量$v_i$，对应特征值${\lambda }_i$；那么 { x k } ,   x k = λ i k v i \{x_k\},\,x_k=\lambda_i^k v_i {xk​},xk​=λik​vi​，是方程$x_{k+1}=A{x}_k$的一个解。并且，这些解的线性组合还是方程的解！

• 对于动力系统$x_{k+1}=A\cdot x_k$，我们计算$A$的所有特征值和特征向量 { ( λ i , v i ) } \{(\lambda_i,v_i)\} {(λi​,vi​)}，那么序列$x_k=c_1{\lambda }_1^k{v}_1+\cdots +c_n{\lambda }_n^k{v}_n,\forall c_i\in R$是方程的解，其中的初始值可被特征向量线性表出：$x_0=c_1{v}_1+\cdots +c_n{v}_n$；我们将计算矩阵乘迭代，转化为了计算特征值幂次，大大提高了效率！

• $f_A(\lambda )=det(A-\lambda I)$的根，就是所有的特征值 { λ i } \{\lambda_i\} {λi​}，根的重数叫做特征值的代数重数。计算上重数，$A$一共有n个特征值。

• 方阵$A$，三角阵$U$是从$A$做行替换和$r$次行交换 (没有行倍乘)，那么$det(A)=(-1{)}^r{\prod }_i{U}_{ii}=(-1{)}^r\cdot det(U)$，因此：零不是矩阵$A$的特征值 $⟺$ $det(A)\ne 0$；注意，行变换往往会改变特征值。

• 相似：若$A=PB{P}^{-1}$，那么称方阵$A$相似于$B$，其中$P$是可逆方阵。线性双射$T:A\mapsto P^{-1}AP$叫做相似变换。

• 给定$P,A$，计算$P^{-1}AP$：可以做行约减$[P|AP]\to [I|P^{-1}AP]$，从而$P^{-1}$是不用计算的，并且减少一次矩阵乘，大大提高效率！

• 相似矩阵拥有相同特征方程，即$det(B-\lambda I)=det(A-\lambda I)$，它们特征值相同。但是，特征值相同的矩阵不一定相似！

• 当仅当$A$的$n$个特征向量线性无关 (特征值有重数也没关系)，$A$可对角化：$A=PD{P}^{-1}$，其中$D=diag({\lambda }_1,\cdots ,{\lambda }_n)$，且$P=[v_1,\cdots ,v_n]$

• 如果$A$的特征值互不相同，那么特征向量必然线性无关，从而可对角化。

• 如果$A=PD{P}^{-1}$，那么矩阵幂次是容易的：$A^k=P{D}^k{P}^{-1}$，其中对角阵的幂次为$D^k=diag({\lambda }_1^k,\cdots ,{\lambda }_n^k)$

• n阶方阵$A$的不同的特征值为${\lambda }_1,\cdots ,{\lambda }_p$，那么：

  • 几何重数 $\le$ 代数重数，$\sum$ 代数重数 $=n$
  • 可对角化 $⟺$ $\sum$ 几何重数 $=n$
  • 若可对角化，$B_i$是${\lambda }_i$的特征子空间的基底，那么$[B_1,\cdots ,B_p]$就是$R^n$的一组由特征向量构成的基。

• 如果$A$可对角化，那么$x_{k+1}=A{x}_k$对任意初始值$x_0$，都可以表示为$x_k=c_1{\lambda }_1^k{v}_1+\cdots +c_n{\lambda }_n^k{v}_n$，因为$x_0\in R^n$且$Span([B_1,\cdots ,B_p])=R^n$

变换

• 线性变换$T:V\to V$，其中$dim(V)=n$，$B$是一组基，
  $$\begin{array}{rlrlrlrlr}v\in V& & \to & & 做变换T& & \to & & T(v)\in V\\ \downarrow & & & & & & & & \downarrow \\ [v{]}_B\in R^n& & \to & & 乘矩阵[T{]}_B& & \to & & [T{]}_B[v{]}_B\end{array}$$

• 如果$A=PC{P}^{-1}\in R^{n\times n}$，并且可逆阵$P$的列组成$R^n$的一组基$B$；则线性变换$T:x\mapsto Ax$，有$[T{]}_B=C$，且$[x{]}_B\mapsto C\cdot [x{]}_B$
  $$\begin{array}{rlrlrlrlrlr}T:& & x& & \to & & 乘A& & \to & & Ax\\ & & \downarrow & & & & & & & & \uparrow \\ & & 乘P^{-1}& & & & & & & & 乘P\\ & & \downarrow & & & & & & & & \uparrow \\ T^{\prime }:& & [x{]}_B& & \to & & 乘C& & \to & & [Ax{]}_B\end{array}$$

• 复向量可以写作实数部分和虚数部分的和：$x=Re(x)+i\cdot Im(x)\in C^n$，其中$(Re(x),Im(x))\in R^n\times R^n$

• 共轭：$\bar{x}=Re(x)-i\cdot Im(x)$，并且$\overline{rx}=\bar{r}\bar{x},\overline{Bx}=\bar{B}\bar{x}$

• 实矩阵$A$，对于复向量$v$，有：$A\cdot Re(v)=Re(Av),A\cdot Im(v)=Im(Av)$

• 对于实矩阵$A$，若$(\lambda ,v)$是一对特征值和特征向量，那么它的共轭$(\bar{\lambda },\bar{v})$也是：$Av=\lambda v⟺A\bar{v}=\bar{\lambda }\bar{v}$

• 2阶实矩阵，若它有复特征值，那么它不可对角化 (2维特征向量与其共轭向量线性相关)

• 2阶实矩阵，若$v$是复特征值对应的复特征向量，那么$Re(v),Im(v)$在$R^2$上线性无关。

• 对于2阶实方阵$A\in R^{2\times 2}$，若它有复特征值$\lambda =a-bi,b\ne 0$ (另一个是$\bar{\lambda }$)，以及对应的复特征向量$v\in C^2$，那么有：
  $$A=PC{P}^{-1},P=[Re(v),Im(v)],C=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]$$
  其中的$C$是旋转矩阵的倍数，旋转角$\varphi =\arctan \frac{b}{a}$，倍数$r=\sqrt{a^2+b^2}=|\lambda |$

  因此，$T^{\prime }:P^{-1}x\mapsto C(P^{-1}x)$，于是$x_{k+1}=A{x}_k$的解 { x k } \{x_k\} {xk​}轨迹将会组成螺线型；若$|\lambda |=1$，则会构成椭圆形。

• 对于2阶实矩阵
  $$C=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]$$
  它的特征值就是$a\pm bi$，对应的特征向量就是$[1,\mp i{]}^t$。

  注意，$C$是实的类旋转矩阵，对于$v\in R^2$做变换后一定会改变方向。但在$v\in C^2$上是存在不改变方向的向量 (区分2维复空间$C^2$和复平面$C$)，也就是复特征向量。

• 对于3阶实矩阵
  $$A=\left[\begin{array}{ccc}a& -b& 0\\ b& a& 0\\ 0& 0& c\end{array}\right]$$
  有：$det(A-\lambda I)=[(a-\lambda )+b^2](c-\lambda )$；因此三个特征值是：$c,a\pm bi$，对应特征向量为：$[0,0,1{]}^t,[1,\mp i,0{]}^t$