线性代数学习笔记7-5：复习——正交、投影、特征值、差分/微分方程

内容回顾

投影与正交

1. 向量到子空间的投影
   用于在方程Ax=b无解时，将b向量投影到A的列空间中，求“最优解”，对应最小二乘法LS
2. Gram-Schmidt正交化
   希望从一组基得到标准正交基，方法是先固定一个基向量，从另一基向量中减去其对已固定的正交基向量的投影，得到的新向量就和已固定的基向量正交，以此类推…最终得到一组正交基向量（最后要除以长度，实现标准化）
3. 正交矩阵$\mathbf{Q}$：就是列向量为一组标准正交基的矩阵
   满足${\mathbf{Q}}^T\mathbf{Q}=I$
   （理解：其中$\mathbf{Q}$的各个列向量标准正交，从而有${\mathbf{q}}_i^T{\mathbf{q}}_i=1$和${\mathbf{q}}_i^T{\mathbf{q}}_j=0(i\ne j)$）

行列式$det(\mathbf{A})$

1. 三个基本性质定义了行列式，其余性质可由它们推导
2. 通过性质的推导，计算行列式可以分解为$n!$个「只有n个非零元素，且每行/每列都有非零元素」的行列式，也可以用推论得出的代数余子式计算：$\det (\mathbf{A})=a_{11}{\mathrm{C}}_{11}+a_{12}{\mathrm{C}}_{12}+\cdots +a_{1\mathrm{n}}{\mathrm{C}}_{1\mathrm{n}}$
3. 可以计算行列式后，进一步得到逆矩阵的公式${\mathbf{A}}^{-1}=\frac{{\mathbf{A}}^{\ast }}{|\mathbf{A}|}$，并得到方程的克莱姆法则

特征值和特征向量

1. 求特征值和特征向量的通用方法：$det(\mathbf{A}-\lambda \mathbf{I})=0$解得$\lambda$后求特征向量
2. 若有n个无关的特征向量，则可实施对角化$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$
   由此可以简便的计算矩阵的幂：${\mathbf{A}}^k={\left(\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}\right)}^k=\mathbf{S}{\mathbf{\Lambda }}^k{\mathbf{S}}^{-1}$
3. 若$\mathbf{A}$为对称矩阵，后面还将知道，对角化得到正交矩阵$\mathbf{A}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{-1}=\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T$
   原因：对称矩阵的特征向量正交，而正交矩阵满足${\mathbf{Q}}^{-1}={\mathbf{Q}}^T$

例题

Eg1. 投影

对于$\mathbf{a}=\left[\begin{array}{l}2\\ 1\\ 2\end{array}\right]$，求将任意向量投影到$\mathbf{a}$所处直线的投影矩阵$\mathbf{P}$

• 根据$\mathbf{P}=\mathbf{A}{\left({\mathbf{A}}^T\mathbf{A}\right)}^{-1}{\mathbf{A}}^T$可得：$\mathbf{P}=\frac{\mathbf{a}{a}^T}{{\mathbf{a}}^T\mathbf{a}}=\frac{1}{9}\left[\begin{array}{lll}4& 2& 4\\ 2& 1& 2\\ 4& 2& 4\end{array}\right]$

对于投影矩阵$\mathbf{P}$，求列空间、秩、特征值和特征向量

• 由于是投影到$\mathbf{a}$所处直线的投影矩阵，$\mathbf{P}$的列空间就是$\mathbf{a}$所处直线，进而$Rank(\mathbf{P})=1$
• 由于是投影到直线，$\mathbf{P}$必然对应降维的线性变换，从而必然有特征值$\lambda =0$，并且为二重特征值（从三维到一维）；
  另一方面，$trace(\mathbf{P})=$特征值之和=对角元之和=1，得到所有三个特征值${\lambda }_1=0,{\lambda }_2=0,{\lambda }_3=1$
• 由于是投影矩阵$\mathbf{P}$，特征值${\lambda }_3=1$对应的特征向量，就是$\mathbf{a}=\left[\begin{array}{l}2\\ 1\\ 2\end{array}\right]$（投影后$\mathbf{P}\mathbf{a}=\mathbf{a}$）

Eg1-2 差分方程

（接上一题）对于方程${\mathbf{u}}_{k+1}=\mathbf{P}{\mathbf{u}}_k$，（初值$\mathbf{u}0=\left[\begin{array}{l}9\\ 9\\ 0\end{array}\right]$），求${\mathbf{u}}_k$

• 解法1：由于是投影矩阵，无论投影多少次，都等效于只投影一次，即${\mathbf{P}}^k{\mathbf{u}}_0=\mathbf{P}{\mathbf{u}}_0$，故${\mathbf{u}}_{k+1}={\mathbf{P}}^k{\mathbf{u}}_0=\mathbf{P}{\mathbf{u}}_0=\left[\begin{array}{l}6\\ 3\\ 6\end{array}\right]$
• 通用解法：对于一般的${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$问题，思路是将初值${\mathbf{u}}_0$拆为特征向量的线性组合（矩阵幂后，只是对特征向量的多次缩放），即${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3$，
  那么最终的解就是${\mathbf{u}}_k=c_1{\lambda }_1{}^k{\mathbf{x}}_1+c_2{\lambda }_2{}^k{\mathbf{x}}_2+c_3{\lambda }_3{}^k{\mathbf{x}}_3$
  而本例中${\lambda }_1=0,{\lambda }_2=0,{\lambda }_3=1$，只有一项

Eg2 投影

给出一系列对称矩阵${\mathbf{A}}_2=\left[\begin{array}{ll}0& 1\\ 1& 0\end{array}\right],{\mathbf{A}}_3=\left[\begin{array}{lll}0& 1& 0\\ 1& 0& 2\\ 0& 2& 0\end{array}\right],{\mathbf{A}}_4=\left[\begin{array}{llll}0& 1& 0& 0\\ 1& 0& 2& 0\\ 0& 2& 0& 3\\ 0& 0& 3& 0\end{array}\right]$
希望将向量投影到${\mathbf{A}}_3$列空间，求投影矩阵$\mathbf{P}$

求投影矩阵，首先看$\mathbf{A}$是否可逆：
若$\mathbf{A}$可逆，投影矩阵$\mathbf{P}=\mathbf{I}$（因为${\mathbf{A}}_3$的列空间张成整个空间；任意向量$\mathbf{v}$对整个空间的投影，就是该向量本身$\mathbf{P}\mathbf{v}=\mathbf{v}$，$\mathbf{P}=\mathbf{I}$）
若$\mathbf{A}$不可逆/奇异，再使用通用的投影矩阵公式$\mathbf{P}=\mathbf{A}{\left({\mathbf{A}}^T\mathbf{A}\right)}^{-1}{\mathbf{A}}^T$

• 由于${\mathbf{A}}_3$不可逆（第一行和第三行成倍数），投影矩阵$\mathbf{P}=\mathbf{A}{\left({\mathbf{A}}^T\mathbf{A}\right)}^{-1}{\mathbf{A}}^T=\left[\begin{array}{rrr}1/5& 0& 2/5\\ 0& 1& 0\\ 2/5& 0& 4/5\end{array}\right]$

希望将向量投影到${\mathbf{A}}_4$列空间，求投影矩阵$\mathbf{P}$

• 由于${\mathbf{A}}_4$可逆（$det({\mathbf{A}}_4)=9$），${\mathbf{A}}_4$列空间就是整个空间本身，投影矩阵$\mathbf{P}=\mathbf{I}$

另外，对于这一系列矩阵，我们可以得到一个大胆猜想：奇数序号的${\mathbf{A}}_n$不可逆，偶数序号的${\mathbf{A}}_n$可逆

Eg3 特征值

一个四阶方阵$\mathbf{A}$的特征值为${\lambda }_1,{\lambda }_2,{\lambda }_3,{\lambda }_4$，求$\mathbf{A}$何时可逆

• 可逆，则对应于“不降维”的线性变换，从而要求所有特征值$\lambda \ne 0$

求$\det \left({\mathbf{A}}^{-1}\right)$

• 由于$\det \left({\mathbf{A}}^{-1}\right)$和$\mathbf{A}$的特征值互为倒数，则$\det \left({\mathbf{A}}^{-1}\right)=\left(\frac{1}{{\lambda }_1}\right)\left(\frac{1}{{\lambda }_2}\right)\left(\frac{1}{{\lambda }_3}\right)\left(\frac{1}{{\lambda }_4}\right)$

求$trace(\mathbf{A}+\mathbf{I})$

• 求$(\mathbf{A}+\mathbf{I})$的特征值：由$det(\mathbf{A}+\mathbf{I}-\lambda \mathbf{I})=0$，$(\mathbf{A}+\mathbf{I})$的特征值刚好就是${\lambda }_1+1,{\lambda }_2+1,{\lambda }_3+1,{\lambda }_4+1$，故$trace(\mathbf{A}+\mathbf{I})={\lambda }_1+{\lambda }_2+{\lambda }_3+{\lambda }_4+4$

Eg4 差分方程

已知二阶差分方程$D_n=D_{n-1}-D_{n-2}$和初值$D_0$，求$D_k$
我们将$\left[\begin{array}{c}{D}_n\\ D_{n-1}\end{array}\right]$视为新的变量，从而改写为一阶差分方程$$\left[\begin{array}{c}{D}_n\\ D_{n-1}\end{array}\right]=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]\left[\begin{array}{l}{D}_{n-1}\\ D_{n-2}\end{array}\right]$$

那么，再次回到上面的矩阵幂问题：已知${\mathbf{u}}_{k+1}=\mathbf{A}{\mathbf{u}}_k$和初值${\mathbf{u}}_0$，求${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$；（$\mathbf{A}=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]$）
求解方法是，先拆分${\mathbf{u}}_0=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3$，那么最终的解就是${\mathbf{u}}_k=c_1{\lambda }_1{}^k{\mathbf{x}}_1+c_2{\lambda }_2{}^k{\mathbf{x}}_2+c_3{\lambda }_3{}^k{\mathbf{x}}_3$

• 解：$\mathbf{A}=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]$，特征值和特征向量为${\lambda }_1=\frac{1+\sqrt{3}i}{2},{\lambda }_2=\frac{1-\sqrt{3}i}{2}$

关于“稳态”之前说过，对于实数特征值，特征值$|{\lambda }_i|<1$的项最终会消失，特征值$|{\lambda }_i|=1$的项恒定，特征值$|{\lambda }_i|>1$的项最终不断增长
对于复数特征值，虚部引入了复平面上的“旋转”，故特征值的幅值仍然确定稳态，而相位则对应了每次做矩阵乘法时特征向量的旋转角度

• 因此，根据欧拉公式$e^{j\varphi }=cos\varphi +jsin\varphi$，可以将特征向量视为${\lambda }_1=e^{i\pi /3},{\lambda }_2=e^{-i\pi /3}$，其幅值都为1，因此${\mathbf{A}}^k{\mathbf{u}}_0$中对应的特征向量不会消失也不会无限增大，仅是在不断旋转；并且显然${\lambda }_1^6={\lambda }_2^6=1$，即每六次旋转回到实轴上，这说明${\mathbf{A}}^6=\mathbf{I}$（因为${\mathbf{u}}_6={\mathbf{A}}^6{\mathbf{u}}_0=c_1{\lambda }_1{}^6{\mathbf{x}}_1+c_2{\lambda }_2{}^6{\mathbf{x}}_2+c_3{\lambda }_3{}^6{\mathbf{x}}_3=c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2+c_3{\mathbf{x}}_3={\mathbf{u}}^0$）
• 对于${\mathbf{u}}_k={\mathbf{A}}^k{\mathbf{u}}_0$，最终可以得出${\mathbf{u}}_k$序列既不发散也不收敛，而是以6为周期不停循环（1,0,-1,-1,0,1）

Eg5 微分方程

求解微分方程$\frac{d\mathbf{u}}{dx}=\mathbf{A}\mathbf{u}=\left[\begin{array}{rrr}0& -1& 0\\ 1& 0& -1\\ 0& 1& 0\end{array}\right]\mathbf{u}$

• 求其通解的形式？
  通解形式为$\mathbf{u}(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$，我们需要进一步求特征值和特征向量
  最终求得$\mathbf{A}=\left[\begin{array}{rrr}0& -1& 0\\ 1& 0& -1\\ 0& 1& 0\end{array}\right]$的特征值${\lambda }_1=0,{\lambda }_2=\sqrt{2}i,{\lambda }_3=-\sqrt{2}i$（奇异阵，必然有特征值为0）
  和特征向量$\mathbf{x}1=\left[\begin{array}{l}1\\ 0\\ 1\end{array}\right],{\mathbf{x}}_2=\left[\begin{array}{r}-1\\ \sqrt{2}i\\ 1\end{array}\right],\mathbf{x}3=\left[\begin{array}{r}1\\ \sqrt{2}i\\ -1\end{array}\right]$（反对称阵/以及对称阵，满足${\mathbf{A}}^T\mathbf{A}=\mathbf{A}{\mathbf{A}}^T$，具有正交的特征向量，可以做内积验证其正交性，但注意复向量的内积要取共轭）
  通解：$\mathbf{u}(t)=c_1{x}_1+c_2{e}^{\sqrt{2}it}{x}_2+c_3{e}^{-\sqrt{2}it}{x}_3$，其中$x_i$为三个特征向量
• 通解收敛还是发散？

将$e^{{\lambda }_{1}t}$视为$A{e}^{j\varphi }$的形式，则实部 R e { λ } Re\{\lambda\} Re{λ}决定了稳定性（即决定幅值的增长速度，因为$|e^{a+jb}|=|e^a||e^{jb}|=|e^a|$），虚部 I m { λ } Im\{\lambda\} Im{λ}对应了单位圆上的相位旋转
R e { λ } > 0 Re\{\lambda\}>0 Re{λ}>0，对应项发散； R e { λ } = 0 Re\{\lambda\}=0 Re{λ}=0，对应项幅值稳定不变； R e { λ } < 0 Re\{\lambda\}<0 Re{λ}<0，对应项消失（$t\to \infty 时\mathbf{u}(\mathrm{t})\to 0$）

解：既不收敛也不发散，因为${\lambda }_1=0,{\lambda }_2=\sqrt{2}i,{\lambda }_3=-\sqrt{2}i$，所有 R e { λ } = 0 Re\{\lambda\}=0 Re{λ}=0，对应项幅值稳定不变；
另外，虚部对应单位圆上的旋转，故$\mathbf{u}(t)$以周期$T=\sqrt{2}\pi$循环（满足$\sqrt{2}iT=2\pi i$）

• 如果从另一角度求解方程，通解为$\mathbf{u}(t)=e^{\mathbf{A}t}\mathbf{u}(0)$，求其中的$e^{\mathbf{A}t}$
  解：假如$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$，则$e^{\mathbf{A}t}=\mathbf{S}{e}^{\mathbf{\Lambda }t}{\mathbf{S}}^{-1}$
  其中$e^{\mathbf{\Lambda }t}=\left[\begin{array}{cccc}{e}^{{\lambda }_{1}t}& 0& \cdots & 0\\ 0& e^{{\lambda }_{2}t}& & 0\\ ⋮& & \ddots & ⋮\\ 0& \cdots & 0& e^{{\lambda }_{n}t}\end{array}\right]$
  可见，两种角度得到的解是相同的

从另一个角度（方程解耦）求解微分方程
（前提：若$\mathbf{A}$有n个无关的特征向量方程，矩阵可以对角化$\mathbf{A}=\mathbf{S}\mathbf{\Lambda }{\mathbf{S}}^{-1}$）
$\frac{d\mathbf{u}}{dt}=\mathbf{A}\mathbf{u}$的解解就是$\mathbf{u}(t)=e^{\mathbf{A}t}\mathbf{u}(0)$，其中$e^{\mathbf{A}t}=\mathbf{S}{e}^{\mathbf{\Lambda }t}{\mathbf{S}}^{-1}$，意义是坐标变换