【特征向量】——从线性代数角度看分解与合成

概念

本文是在读了黎文科老师神奇的矩阵后，做的一些笔记以及对分解和合成的一点思考，如有问题，欢迎交流。
这里附上一些线性代数中的数学概念。

• 矩阵：描述运动，本质是在一组基描述下的向量(对象)的线性变换 { e 1 , e 2 , . . . , e n } \{e_1,e_2,...,e_n\} {e1​,e2​,...,en​}
• 线性无关基：完备性(数量足够)+线性独立(不能相互表示)，可表示任意一个向量
• 正交归一基：基之间相互正交，模为1
• 特征向量：对于一个矩阵(线性变换)，特征向量(对象)变换之后方向不变
  $$Ax\text{x}x=\lambda x\text{x}x$$
• 向量：可以理解为一组基下的坐标$(c_1,c_2,...,c_n)$
  $$\phi \text{φ}\phi =c_1{e}_1\text{e1}{e}_1+c_2{e}_2\text{e2}{e}_2+...+c_n{e}_n\text{en}{e}_n$$

特征向量与特征值

特征向量的引入是为了选取一组很好的基。

1. 分解向量(本质是以特征向量为基，进行坐标变换)
   　我们知道，对于一个线性变换，只要选定一组基，就可以用一个矩阵$T_1$来描述这个线性变换。换一组基，就得到另一个不同的矩阵$T_2$。如果我们选取特征向量做基的话，空间任意一个向量可用特征向量来表示：
   $$\phi \text{φ}\phi =c_1{p}_1\text{p1}{p}_1+c_2{p}_2\text{p2}{p}_2+...+c_n{p}_n\text{pn}{p}_n$$
   　由于线性变换不改变特征向量的方向，故在对向量做线性变换时，形式简单：
   $$A\phi \text{φ}\phi =A(c_1{p}_1\text{p1}{p}_1+c_2{p}_2\text{p2}{p}_2+...+c_n{p}_n\text{pn}{p}_n)=c_1{\lambda }_1{p}_1\text{p1}{p}_1+c_2{\lambda }_2{p}_2\text{p2}{p}_2+...+c_n{\lambda }_n{p}_n\text{pn}{p}_n$$
   　综上，我们可以看出，如果一个矩阵(线性变换)存在n个特征向量，那么将它们作为正交基对向量进行分解，比直接进行线性变换大大简化地了运算。
2. 分解矩阵
   　在对矩阵进行对角化后，可以写成如下的形式：
   A = P [ λ 1 0 ⋯ 0 0 λ 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ] P T , P = { p 1 , p 2 , . . . , p n } A=P \left[ \begin{matrix} \lambda_1 & 0 & \cdots & 0 \\ 0 &\lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \\ \end{matrix} \right]P^{T},P=\{\pmb{p_1},\pmb{p_2},...,\pmb{p_n}\} A=P⎣⎢⎢⎢⎡​λ1​0⋮0​0λ2​⋮0​⋯⋯⋱⋯​00⋮λn​​⎦⎥⎥⎥⎤​PT,P={p1​​p1​​​p1​,p2​​p2​​​p2​,...,pn​​pn​​​pn​}
   　进一步展开：
   $$A={\lambda }_1{P}_1+...+{\lambda }_n{P}_n,P_n=p_n\text{pn}{p}_n{p_n\text{pn}{p}_n}^T$$
   　这里的目的是对线性变换进行展开，叫做谱分解，主成分分析里有这东西。

从特征向量看信号与系统

众所周知，信号与系统讨论的系统是线性时不变系统，而线性时不变系统的特征向量就是e指数函数，所以我们选取特征向量(e指数函数)为基，对时域信号进行分解(即获取它在特征向量基底下的坐标)，这就是傅里叶分析。线性时不变系统的特征向量就是e指数函数也是我们采用傅里叶分析的原因，所谓的频域空间就是e指数函数空间。
　下面我们证明一下线性时不变系统的特征向量就是e指数函数，$T$代表系统的作用：
$$T[e^{j\omega t}]=g(t)$$$$g(t)=\int e^{j\omega \tau }h(t-\tau )\mathrm{d}\tau$$$$g(t)=e^{j\omega t}\int e^{-j\omega x}h(x)\mathrm{d}\mathrm{x}$$$$g(t)=H(\omega )e^{j\omega t}$$$$T[e^{j\omega t}]=H(\omega )e^{j\omega t}$$
　可以发现，e指数函数经过线性时不变系统系统的作用后方向不变，即为系统的特征向量。
　回到上面的分解向量，两者的本质思想是一样的，唯一的差别在于维度上。所以说，信号中线性-分解-合成时选取傅里叶变换和拉普拉斯变换是有道理的。

拓展

1. 我们可以发现，线性微分方程的特征向量也是e指数函数，这也是我们取其为基，表示解的原因。
2. 用特征函数解的方程是最简洁的，否则，如果用级数的方式解方程，会发现方程的解有无穷多项。在解贝塞尔方程时，我们没有找到特征函数，于是退而求其次才选择级数求解，至少级数具有完备性。
3. 数学中的分解方法有很多，各类的积分变换都对应着一个函数空间，具体要看我们想选取哪一组基去刻画对象，然后得到对象在目标基底下的坐标。
   

对于泰勒展开，我们选取了多项式为基，由多项式构成的空间就叫多项式空间。对傅里叶变换，我们选取了三角函数为基，由三角函数构成的空间就叫做频率空间。

Reference：
1.神奇的矩阵第二季.黎文科