线性代数-MIT 18.06-5(b)

本文在学习《麻省理工公开课 线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MIT-B站视频

笔记部分：总结参考子实

23.微分方程和$e^{At}$

微分方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$

本讲主要讲解解一阶方程（first-order system）、一阶导数（first derivative）、常系数（constant coefficient）线性方程

本讲将进一步涉及矩阵的指数形式。通过解一个例子来详细介绍计算方法。

**例1：**一阶导数常系数线性方程组

有方程组$\{\begin{array}{ll}\frac{\mathrm{d}{u}_1}{\mathrm{d}t}& =-u_1+2u_2\\ \frac{\mathrm{d}{u}_2}{\mathrm{d}t}& =u_1-2u_2\end{array}$，则系数矩阵是$A=\left[\begin{array}{cc}-1& 2\\ 1& -2\end{array}\right]$，设初始条件为在$0$时刻$u(0)=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]$。

• 这个初始条件的意义可以看做在开始时一切都在$u_1$中，但随着时间的推移，将有$\frac{\mathrm{d}{u}_2}{\mathrm{d}t}>0$，因为$u_1$项初始为正，$u_1$中的事物会流向$u_2$。随着时间的发展我们可以追踪流动的变化。

• 根据上一讲所学的知识，我们知道第一步需要找到特征值与特征向量。$A=\left[\begin{array}{cc}-1& 2\\ 1& -2\end{array}\right]$，很明显这是一个奇异矩阵，所以第一个特征值是${\lambda }_1=0$，另一个特征向量可以从迹得到$tr(A)=-3$。当然我们也可以用一般方法计算$\left|A-\lambda I\right|=\left|\begin{array}{cc}-1-\lambda & 2\\ 1& -2-\lambda \end{array}\right|={\lambda }^2+3\lambda =0$。

  注：

  1.特征值${\lambda }_2=-3$将会逐渐消失，因为答案中将会有一项为$e^{-3t}$，该项会随着时间的推移趋近于$0$。

  2.答案的另一部分将有一项为$e^{0t}$，该项是一个常数，其值为$1$，并不随时间而改变。

  3. 通常含有$0$特征值的矩阵会随着时间的推移达到稳态。

• 求特征向量，${\lambda }_1=0$时，即求$A$的零空间，很明显$x_1=\left[\begin{array}{c}2\\ 1\end{array}\right]$；

  ${\lambda }_2=-3$时，求$A+3I$的零空间，$\left[\begin{array}{cc}2& 2\\ 1& 1\end{array}\right]$的零空间为$x_2=\left[\begin{array}{c}1\\ -1\end{array}\right]$。

• 则方程组的通解为：$u(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2$，通解的前后两部分都是该方程组的纯解，即方程组的通解就是两个与特征值、特征向量相关的纯解的线性组合。我们来验证一下，比如取$u=e^{{\lambda }_{1}t}{x}_1$带入$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$，对时间求导得到${\lambda }_1{e}^{{\lambda }_{1}t}{x}_1=A{e}^{{\lambda }_{1}t}{x}_1$，化简得${\lambda }_1{x}_1=A{x}_1$。

  对比上一讲，解$u_{k+1}=A{u}_k$时得到$u_k=c_1{\lambda }^k{x}_1+c_2{\lambda }^k{x}_2$，而解$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$我们得到$u(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2$。

• 继续求$c_1,c_2$，$u(t)=c_1\cdot 1\cdot \left[\begin{array}{c}2\\ 1\end{array}\right]+c_2\cdot e^{-3t}\cdot \left[\begin{array}{c}1\\ -1\end{array}\right]$，已知$t=0$时，$\left[\begin{array}{c}1\\ 0\end{array}\right]=c_1\left[\begin{array}{c}2\\ 1\end{array}\right]+c_2\left[\begin{array}{c}1\\ -1\end{array}\right]$（$Sc=u(0)$），所以$c_1=\frac{1}{3},c_2=\frac{1}{3}$。

• 于是我们写出最终结果，$u(t)=\frac{1}{3}\left[\begin{array}{c}2\\ 1\end{array}\right]+\frac{1}{3}{e}^{-3t}\left[\begin{array}{c}1\\ -1\end{array}\right]$。

稳定性和收敛性

稳定性：这个流动过程从$u(0)=\left[\begin{array}{c}1\\ 0\end{array}\right]$开始，初始值$1$的一部分流入初始值$0$中，经过无限的时间最终达到稳态$u(\infty )=\left[\begin{array}{c}\frac{2}{3}\\ \frac{1}{3}\end{array}\right]$。

所以，要使得$u(t)\to 0$，则需要负的特征值。

但如果特征值为复数呢？如$\lambda =-3+6i$，我们来计算$\left|e^{(-3+6i)t}\right|$，其中的$\left|e^{6it}\right|$部分为$\left|\cos 6t+i\sin 6t\right|=1$，因为这部分的模为${\cos }^2\alpha +{\sin }^2\alpha =1$，这个虚部就在单位圆上。

所以只有实数部分才是重要的。所以我们可以把前面的结论改为需要实部为负数的特征值。

实部会决定最终结果趋近于$0$或$\infty$，虚部不过是一些小杂音。

收敛态：需要其中一个特征值实部为$0$，而其他特征值的实部皆小于$0$。

发散态：如果某个特征值实部大于$0$。

上面的例子中，如果将$A$变为$-A$，特征值也会变号，结果发散。

二阶矩阵特征值的判定方法

再进一步，如何从直接判断任意二阶矩阵的特征值是否均小于零？

条件1：对于二阶矩阵$A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$，矩阵的迹为$a+d={\lambda }_1+{\lambda }_2$，如果矩阵稳定，则迹应为负数。

但是这个条件还不够，有反例迹小于$0$依然发散：$\left[\begin{array}{cc}-2& 0\\ 0& 1\end{array}\right]$，迹为$-1$但是仍然发散。

条件2：还需要加上一个条件，因为$\det A={\lambda }_1\cdot {\lambda }_2$，所以还需要行列式为正数。

原理总结

总结：原方程组有两个相互耦合的未知函数，$u_1,u_2$相互耦合，而特征值和特征向量的作用就是解耦，也就是对角化（diagonalize）。

回到原方程组$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$，将$u$表示为特征向量的线性组合$u=Sv$，代入原方程有$S\frac{\mathrm{d}v}{\mathrm{d}t}=ASv$，两边同乘以$S^{-1}$得
$$\frac{\mathrm{d}v}{\mathrm{d}t}=S^{-1}ASv=\Lambda v$$
以特征向量为基，将$u$表示为$Sv$，得到关于$v$的对角化方程组，新方程组不存在耦合，此时
$$\{\begin{array}{ll}\frac{\mathrm{d}{v}_1}{\mathrm{d}t}& ={\lambda }_1{v}_1\\ \frac{\mathrm{d}{v}_2}{\mathrm{d}t}& ={\lambda }_2{v}_2\\ ⋮& ⋮\\ \frac{\mathrm{d}{v}_n}{\mathrm{d}t}& ={\lambda }_n{v}_n\end{array}$$

该方程组各未知函数间没有联系，它们的解的一般形式为$v(t)=e^{\Lambda t}v(0)$，则原方程组的解的一般形式为
$$u(t)=e^{At}u(0)=S{e}^{\Lambda t}{S}^{-1}u(0)$$
这里引入了指数部分为矩阵的形式。

指数矩阵$e^{At}$

指数矩阵

1. **定义：**指数部分带有矩阵的情况称为指数矩阵（exponential matrix）。

理解指数矩阵的关键在于，将指数形式展开称为幂基数形式，就像$e^x=1+\frac{x^2}{2}+\frac{x^3}{6}+\cdots$一样

将$e^{At}$展开成幂级数的形式为：
$$e^{At}=I+At+\frac{(At{)}^2}{2}+\frac{(At{)}^3}{6}+\cdots +\frac{(At{)}^n}{n!}+\cdots$$

两个极具美感的泰勒级数：$e^x=\sum \frac{x^n}{n!}$与$\frac{1}{1-x}=\sum x^n$
$$(I-At{)}^{-1}=I+At+(At{)}^2+(At{)}^3+\cdots$$
这个式子在$t$非常小的时候，后面的高次项近似等于零，所以可以用来近似$I-At$的逆矩阵，通常近似为$I+At$

• 第一个级数对我们而言比第二个级数好，因为第一个级数总会收敛于某个值，所以$e^x$总会有意义，
• 而第二个级数需要$A$特征值的绝对值小于$1$（因为涉及矩阵的幂运算）。我们看到这些泰勒级数的公式对矩阵同样适用。

2. 证明：回到正题，我们需要证明$S{e}^{\Lambda t}{S}^{-1}=e^{At}$，继续使用泰勒级数：

$$\begin{gathered} e^{At}=I+At+\frac{(At{)}^2}{2}+\frac{(At{)}^3}{6}+\cdots +\frac{(At{)}^n}{n!}+\cdots \\ {e}^{At}=S{S}^{-1}+S\Lambda S^{-1}t+\frac{S{\Lambda }^2{S}^{-1}}{2}{t}^2+\frac{S{\Lambda }^3{S}^{-1}}{6}{t}^3+\cdots +\frac{S{\Lambda }^n{S}^{-1}}{n!}{t}^n+\cdots \\ {e}^{At}=S\left(I+\Lambda t+\frac{{\Lambda }^2{t}^2}{2}+\frac{{\Lambda }^3{t}^3}{3}+\cdots +\frac{{\Lambda }^n{t}^n}{n}+\cdots \right)S^{-1} \\ {e}^{At}=S{e}^{\Lambda t}{S}^{-1} \end{gathered}$$

需要注意的是，$e^{At}$的泰勒级数展开是恒成立的，但这里却需要矩阵可对角化这个前提条件。

3.$e^{\Lambda t}$性质

最后，我们来看看什么是$e^{\Lambda t}$，我们将$e^{At}$变为对角矩阵就是因为对角矩阵简单、没有耦合，
$$e^{\Lambda t}=\left[\begin{array}{cccc}{e}^{{\lambda }_{1}t}& 0& \cdots & 0\\ 0& e^{{\lambda }_{2}t}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & e^{{\lambda }_{n}t}\end{array}\right]$$

=>有了$u(t)=S{e}^{\Lambda t}{S}^{-1}u(0)$

稳定性和收敛性

再来看矩阵的稳定性可知，所有特征值的实部均为负数时矩阵收敛，此时对角线上的指数收敛为$0$。

• 如果我们画出复平面，则要使微分方程存在稳定解，则特征值存在于复平面的左侧（即实部为负）；

• 要使矩阵的幂收敛于$0$，则特征值存在于单位圆内部（即模小于$1$），这是幂稳定区域。（上一讲的差分方程需要计算矩阵的幂。）

二阶矩阵情形

同差分方程一样，我们来看二阶情况如何计算，有$y^{\prime \prime }+b{y}^{\prime }+k=0$。我们也模仿差分方程的情形，构造方程组
$$\{\begin{array}{ll}{y}^{\prime \prime }& =-b{y}^{\prime }-ky\\ y^{\prime }& =y^{\prime }\end{array}$$
写成矩阵形式有
$$\left[\begin{array}{c}{y}^{\prime \prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}-b& -k\\ 1& 0\end{array}\right]\left[\begin{array}{c}{y}^{\prime }\\ y\end{array}\right]$$

令$u^{\prime }=\left[\begin{array}{c}{y}^{\prime \prime }\\ y^{\prime }\end{array}\right],u=\left[\begin{array}{c}{y}^{\prime }\\ y\end{array}\right]$。

继续推广

对于$5$阶微分方程
$$y^{\prime \prime \prime \prime \prime }+b{y}^{\prime \prime \prime \prime }+c{y}^{\prime \prime \prime }+d{y}^{\prime \prime }+e{y}^{\prime }+f=0$$
则可以写作
$$\left[\begin{array}{c}{y}^{\prime \prime \prime \prime \prime }\\ y^{\prime \prime \prime \prime }\\ y^{\prime \prime \prime }\\ y^{\prime \prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{ccccc}-b& -c& -d& -e& -f\\ 1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{y}^{\prime \prime \prime \prime }\\ y^{\prime \prime \prime }\\ y^{\prime \prime }\\ y^{\prime }\\ y\end{array}\right]$$

这样就把一个五阶微分方程化为$5\times 5$一阶方程组，然后就是求特征值、特征向量的步骤。

24.马尔科夫矩阵、傅里叶级数

马尔科夫矩阵

定义

马尔科夫矩阵（Markov matrix）是指具有以下两个特性的矩阵：

1. 矩阵中的所有元素大于等于$0$；（因为马尔科夫矩阵与概率有关，而概率是非负的。）
2. 每一列的元素之和为$1$

推论

对于马尔科夫矩阵，我们关心幂运算过程中的稳态（steady state）。与上一讲不同，指数矩阵关系特征值是否为$0$，而幂运算要达到稳态需要特征值为$1$。

根据上面两条性质，我们可以得出两个推论：

1. 马尔科夫矩阵必有特征值为$1$；
2. 其他的特征值的绝对值皆小于$1$。

幂运算
$$u_k=A^k{u}_0=S{\Lambda }^k{S}^{-1}{u}_0=S{\Lambda }^k{S}^{-1}Sc=S{\Lambda }^{k}c=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+\cdots +c_n{\lambda }_n^k{x}_n$$
从该公式很容易看出幂运算的稳态。比如我们取${\lambda }_1=1$，其他的特征值绝对值均小于$1$，于是在经过$k$次迭代，随着时间的推移，其他项都趋近于$0$，于是在$k\to \infty$时，有稳态$u_k=c_1{x}_1$，这也就是初始条件$u_0$的第$1$个分量。

证明

证明推论1：

取
$$A=\left[\begin{array}{ccc}0.1& 0.01& 0.3\\ 0.2& 0.99& 0.3\\ 0.7& 0& 0.4\end{array}\right]$$
则
$$A-I=\left[\begin{array}{ccc}-0.9& 0.01& 0.3\\ 0.2& -0.01& 0.3\\ 0.7& 0& -0.6\end{array}\right]$$

1. 观察$A-I$易知其列向量中元素之和均为$0$，因为马尔科夫矩阵的性质就是各列向量元素之和为$1$，现在我们从每一列中减去了$1$，所以这是很自然的结果。而如果列向量中元素和为$0$，则矩阵的任意行都可以用“零减去其他行之和”表示出来，即该矩阵的行向量线性相关。

2. 用以前学过的子空间的知识描述，当$n$阶方阵各列向量元素之和皆为$1$时，则有

$$\left[\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right]$$
​ 在矩阵$A-I$左零空间中，即$(A-I{)}^T$行向量线性相关。
​ 而$A$特征值$1$所对应的特征向量将在$A-I$的零空间中，因为$Ax=x\to (A-I)x=0$。

3. 另外，特征值具有这样一个性质：矩阵与其转置的特征值相同。

   那么如果$\det (A-\lambda I)=0$，则有$\det (A-\lambda I{)}^T=0$

   根据矩阵转置的性质有$\det (A^T-\lambda I^T)=0$，即$\det (A^T-\lambda I)=0$。这正是$A^T$特征值的计算式。

4. 然后计算特征值${\lambda }_1=1$所对应的特征向量，$(A-I)x_1=0$，得出$x_1=\left[\begin{array}{c}0.6\\ 33\\ 0.7\end{array}\right]$，特征向量中的元素皆为正。

马尔科夫矩阵的应用

用麻省和加州这两个州的人口迁移为例：
$${\left[\begin{array}{c}{u}_{cal}\\ u_{mass}\end{array}\right]}_{k+1}\left[\begin{array}{cc}0.9& 0.2\\ 0.1& 0.8\end{array}\right]{\left[\begin{array}{c}{u}_{cal}\\ u_{mass}\end{array}\right]}_k$$

这个式子表示每年有$10$的人口从加州迁往麻省，同时有$20$的人口从麻省迁往加州。

注意使用马尔科夫矩阵的前提条件是随着时间的推移，矩阵始终不变。

1. 设初始情况

$${\left[\begin{array}{c}{u}_{cal}\\ u_{mass}\end{array}\right]}_0=\left[\begin{array}{c}0\\ 1000\end{array}\right]$$

2. 我们先来看第一次迁徙后人口的变化情况：

$${\left[\begin{array}{c}{u}_{cal}\\ u_{mass}\end{array}\right]}_1=\left[\begin{array}{cc}0.9& 0.2\\ 0.1& 0.8\end{array}\right]\left[\begin{array}{c}0\\ 1000\end{array}\right]=\left[\begin{array}{c}200\\ 800\end{array}\right]$$

3. 随着时间的推移，会有越来越多的麻省人迁往加州，而同时又会有部分加州人迁往麻省。

4. 计算特征值：我们知道马尔科夫矩阵的一个特征值为${\lambda }_1=1$，则另一个特征值可以直接从迹算出${\lambda }_2=0.7$。

• 带入${\lambda }_1=1$求$A-I$的零空间有

$$\left[\begin{array}{cc}-0.1& 0.2\\ 0.1& -0.2\end{array}\right]$$

则$x_1=\left[\begin{array}{c}2\\ 1\end{array}\right]$，此时我们已经可以得出无穷步后稳态下的结果了。
$$u_{\infty }=c_1\left[\begin{array}{c}2\\ 1\end{array}\right]$$

且人口总数始终为$1000$，则$c_1=\frac{1000}{3}$，稳态时
$${\left[\begin{array}{c}{u}_{cal}\\ u_{mass}\end{array}\right]}_{\infty }=\left[\begin{array}{c}\frac{2000}{3}\\ \frac{1000}{3}\end{array}\right]$$

注意到特征值为$1$的特征向量元素皆为正。

• 为了求每一步的结果，我们必须解出所有特征向量。带入${\lambda }_2=0.7$求$A-0.7I$的零空间
  $$\left[\begin{array}{cc}0.2& 0.2\\ 0.1& 0.1\end{array}\right]$$

则$x_2=\left[\begin{array}{c}-1\\ 1\end{array}\right]$。

通过$u_0$解出$c_1,c_2$，已知
$$u_k=c_1{1}^k\left[\begin{array}{c}2\\ 1\end{array}\right]+c_{2}0.7^k\left[\begin{array}{c}-1\\ 1\end{array}\right]$$
带入$k=0$得
$$u_0=\left[\begin{array}{c}0\\ 1000\end{array}\right]=c_1\left[\begin{array}{c}2\\ 1\end{array}\right]+c_2\left[\begin{array}{c}-1\\ 1\end{array}\right]$$
解出$c_1=\frac{1000}{3},c_2=\frac{2000}{3}$。

傅里叶级数

投影复习

在介绍傅里叶级数（Fourier se ries）之前，先来回顾一下投影。

设$q_1,q_2,\cdots q_n$为一组标准正交基，则向量$v$在该标准正交基上的展开为$v=x_1{q}_1+x_2{q}_2+\cdots +x_n{q}_n$，此时我们想要得到各系数$x_i$的值。比如求$x_1$的值，我们自然想要消掉除$x_1{q}_1$外的其他项，这时只需要等式两边同乘以$q_1^T$，因为的$q_i$向量相互正交且长度为$1$，则$q_i^T{q}_j=0,q_i^2=1$所以原式变为$q_1^{T}v=x_1$。

写为矩阵形式有
$$[q_1{q}_2\cdots q_n]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=v$$

即$Qx=v$。所以有$x=Q^{-1}v$，

标准正交基有$Q^T=Q^{-1}$，所以我们不需要计算逆矩阵可直接得出$x=Q^{T}v$。此时对于$x$的每一个分量有$x_i=q_i^{T}v$。

傅里叶级数

接下来介绍傅里叶级数。先写出傅里叶级数的展开式：

$$f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin 2x+\cdots$$

傅里叶发现，如同将向量$v$展开（投影）到向量空间的一组标准正交基中，在函数空间中，我们也可以做类似的展开。将函数$f(x)$投影在一系列相互正交的函数中。函数空间中的$f(x)$就是向量空间中的$v$；函数空间中的$1,\cos x,\sin x,\cos 2x,\sin 2x,\cdots$就是向量空间中的$q_1,q_2,\cdots ,q_n$；

不同的是，函数空间是无限维的而我们以前接触到的向量空间通常是有限维的。

函数正交

再来介绍何为“函数正交”。

向量正交

对于向量正交我们通常使用两向量内积（点乘）为零判断。我们知道对于向量$v,w$的内积为$v^{T}w=v_1{w}_1+v_2{w}_2+\cdots +v_n{w}_n=0$，也就是向量的每个分量之积再求和。

函数正交

而对于函数$f(x)\cdot g(x)$内积，同样的，我们需要计算两个函数的每个值之积而后求和，由于函数取值是连续的，所以函数内积为：

$$f^{T}g=\int f(x)g(x)\mathrm{d}x$$

在本例中，由于傅里叶级数使用正余弦函数，它们的周期都可以算作$2\pi$，所以本例的函数点积可以写作

$f^{T}g={\int }_0^{2\pi }f(x)g(x)\mathrm{d}x$。

检验一个内积

${\int }_0^{2\pi }\sin x\cos x\mathrm{d}x={\frac{1}{2}{\sin }^{2}x|}_0^{2\pi }=0$

其余的三角函数族正交性结果可以参考傅里叶级数的“希尔伯特空间的解读”一节。

系数求解

最后我们来看$\cos x$项的系数是多少（$a_0$是$f(x)$的平均值）。同向量空间中的情形一样，我们在等式两边同时做$\cos x$的内积，原式变${\int }_0^{2\pi }f(x)\cos x\mathrm{d}x=a_1{\int }_0^{2\pi }{\cos }^{2}x\mathrm{d}x$

因为正交性等式右边仅有$\cos x$项不为零。进一步化简得

$a_1\pi ={\int }_0^{2\pi }f(x)\cos x\mathrm{d}x\to a_1=\frac{1}{\pi }{\int }_0^{2\pi }f(x)\cos x\mathrm{d}x$。

类似求解其他系数，于是把函数$f(x)$展开到了函数空间的一组标准正交基上。

25.复习二

知识点复习

1. 正交性，有矩阵$Q=[q_1{q}_2\cdots q_n]$，若其列向量相互正交，则该矩阵满足$Q^{T}Q=I$。

2. 投影，我们了解了Gram-Schmidt正交化法，核心思想是求法向量，即从原向量中减去投影向量$E=b-P,P=Ax=\frac{A^{T}b}{A^{T}A}\cdot A$。

3. 行列式，根据行列式的前三条性质，我们拓展出了性质4-10。

• 我们继续推导出了一个利用代数余子式求行列式的公式。
• 又利用代数余子式推导出了一个求逆矩阵的公式。

4. 特征值与特征向量的意义：$Ax=\lambda x$，进而了解了通过$\det (A-\lambda I)=0$求特征值、特征向量的方法。

• 有了特征值与特征向量，我们掌握了通过公式$AS=\Lambda S$对角化矩阵，同时掌握了求矩阵的幂$A^k=S{\Lambda }^k{S}^{-1}$。

例题复习

1. 求$a=\left[\begin{array}{c}2\\ 1\\ 2\end{array}\right]$的投影矩阵$P$

   解：由$a\perp (b-p)\to A^T(b-A\hat{x})=0$得到$\hat{x}={\left(A^{T}A\right)}^{-1}{A}^{T}b$，求得$p=A\hat{x}=A{\left(A^{T}A\right)}^{-1}{A}^{T}b=Pb$最终得到
   $$\underline{P=A{\left(A^{T}A\right)}^{-1}{A}^T}\stackrel{a}{=}\frac{a{a}^T}{a^{T}a}=\frac{1}{9}\left[\begin{array}{ccc}4& 2& 4\\ 2& 1& 2\\ 4& 2& 4\end{array}\right]$$

   • 求$P$矩阵的特征值：

   观察矩阵易知矩阵奇异，且为秩一矩阵，则其零空间为$2$维，所以由$Px=0x$得出矩阵的两个特征向量为${\lambda }_1={\lambda }_2=0$；

   而从矩阵的迹得知$trace(P)=1={\lambda }_1+{\lambda }_2+{\lambda }_3=0+0+1$，则第三个特征向量为${\lambda }_3=1$。

   • 求${\lambda }_3=1$的特征向量：

   由$Px=x$我们知道经其意义为，$x$过矩阵$P$变换后不变，又有$P$是向量$a$的投影矩阵，所以任何向量经过$P$变换都会落在$a$的列空间中，则只有已经在$a$的列空间中的向量经过$P$的变换后保持不变，即其特征向量为$x=a=\left[\begin{array}{c}2\\ 1\\ 2\end{array}\right]$，也就是$Pa=a$。

   • 有差分方程$u_{k+1}=P{u}_k,u_0=\left[\begin{array}{c}9\\ 9\\ 0\end{array}\right]$，求解$u_k$：

   一般方法是解出特征值、特征向量，这里因为矩阵很特殊（投影矩阵）。

   首先观察$u_1=P{u}_0$，式子相当于将$u_0$投影在了$a$的列空间中，计算得
   $$u_1=a\frac{a^T{u}_0}{a^{T}a}=3a=\left[\begin{array}{c}6\\ 3\\ 6\end{array}\right]$$

   这里的$3$相当于做投影时的系数$\hat{x}$，其意义为$u_1$在$a$上且距离$u_0$最近。

   再来看看$u_2=P{u}_1$，这个式子将$u_1$再次投影到$a$的列空间中，但是此时的$u_1$已经在该列空间中了，再次投影仍不变，所以有
   $$u_k=P^k{u}_0=P{u}_0=\left[\begin{array}{c}6\\ 3\\ 6\end{array}\right]$$

   上面的解法利用了投影矩阵的特殊性质，如果在一般情况下，我们需要使用$AS=S\Lambda \to A=S\Lambda S^{-1}\to u_{k+1}=A{u}_k=A^{k+1}{u}_0,u_0=Sc\to u_{k+1}=S{\Lambda }^{k+1}{S}^{-1}Sc=S{\Lambda }^{k+1}c$

   最终得到公式$A^k{u}_0=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+\cdots +c_n{\lambda }_n^k{x}_n$。

   题中$P$的特殊性在于它的两个“零特征值”及一个“一特征值”使得式子变为$A^k{u}_0=c_3{x}_3$，所以得到了上面结构特殊的解。

2. 将点$(1,4),(2,5),(3,8)$拟合到一条过零点的直线上

   解：设直线为$y=Dt$，写成矩阵形式为
   $$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]D=\left[\begin{array}{c}4\\ 5\\ 8\end{array}\right]$$
   即$AD=b$，很明显$D$不存在。利用公式$A^{T}A\hat{D}=A^{T}b$得到$14D=38,\hat{D}=\frac{38}{14}$，即最佳直线为$y=\frac{38}{14}t$。这个近似的意义是将$b$投影在了$A$的列空间中。

3. 求$a_1=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]a_2=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$的正交向量

   解：找到平面$A=[a_1,a_2]$的正交基，使用Gram-Schmidt法，以$a_1$为基准，正交化$a_2$，也就是将$a_2$中平行于$a_1$的分量去除，即
   $$a_2-x{a}_1=a_2-\frac{a_1^T{a}_2}{a_1^T{a}_1}{a}_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-\frac{6}{14}\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$$

4. 有$4\times 4$矩阵$A$，其特征值为${\lambda }_1,{\lambda }_2,{\lambda }_3,{\lambda }_4$，则矩阵可逆的条件是什么

   解：矩阵可逆，则零空间中只有零向量，即$Ax=0x$没有非零解，则零不是矩阵的特征值。

   $\det A^{-1}$是什么：$\det A^{-1}=\frac{1}{\det A}$，而$\det A={\lambda }_1{\lambda }_2{\lambda }_3{\lambda }_4$，所以有$\det A^{-1}=\frac{1}{{\lambda }_1{\lambda }_2{\lambda }_3{\lambda }_4}$。

   $trace(A+I)$的迹是什么：我们知道$trace(A)=a_{11}+a_{22}+a_{33}+a_{44}={\lambda }_1+{\lambda }_2+{\lambda }_3+{\lambda }_4$，所以有$trace(A+I)=a_{11}+1+a_{22}+1+a_{33}+1+a_{44}+1={\lambda }_1+{\lambda }_2+{\lambda }_3+{\lambda }_4+4$。

5. 有矩阵$A_4=\left[\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 1& 0\\ 0& 1& 1& 1\\ 0& 0& 1& 1\end{array}\right]$，求$D_n=?D_{n-1}+?D_{n-2}$

   解：求递归式的系数，使用代数余子式将矩阵安第一行展开得
   $$\det A_4=1\cdot \left|\begin{array}{ccc}1& 1& 0\\ 1& 1& 1\\ 0& 1& 1\end{array}\right|-1\cdot \left|\begin{array}{ccc}1& 1& 0\\ 0& 1& 1\\ 0& 1& 1\end{array}\right|=1\cdot \left|\begin{array}{ccc}1& 1& 0\\ 1& 1& 1\\ 0& 1& 1\end{array}\right|-1\cdot \left|\begin{array}{cc}1& 1\\ 1& 1\end{array}\right|=\det A_3-\det A_2$$

   可以看出有规律$D_n=D_{n-1}-D_{n-2},D_1=1,D_2=0$。

   使用我们在差分方程中的知识构建方程组
   $$\{\begin{array}{ll}{D}_n& =D_{n-1}-D_{n-2}\\ D_{n-1}& =D_{n-1}\end{array}$$
   用矩阵表达有
   $$\left[\begin{array}{c}{D}_n\\ D_{n-1}\end{array}\right]=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{D}_{n-1}\\ D_{n-2}\end{array}\right]$$
   计算系数矩阵$A_c$的特征值
   $$\left|\begin{array}{cc}1-\lambda & 1\\ 1& -\lambda \end{array}\right|={\lambda }^2-\lambda +1=0$$
   解得${\lambda }_1=\frac{1+\sqrt{3}i}{2},{\lambda }_2=\frac{1-\sqrt{3}i}{2}$，特征值为一对共轭复数。

   • 要判断递归式是否收敛，需要计算特征值的模，即实部平方与虚部平方之和$\frac{1}{4}+\frac{3}{4}=1$。它们是位于单位圆$e^{i\theta }$上的点，即$\cos \theta +i\sin \theta$，从本例中可以计算出$\theta =60^{\circ }$，也就是可以将特征值写作${\lambda }_1=e^{i\pi /3},{\lambda }_2=e^{-i\pi /3}$。注意，从复平面单位圆上可以看出，这些特征值的六次方将等于一：$e^{2\pi i}=e^{2\pi i}=1$。

   • 继续深入观察这一特性对矩阵的影响，${\lambda }_1^6={\lambda }^6=1$，则对系数矩阵有$A_c^6=I$。则系数矩阵$A_c$服从周期变化，既不发散也不收敛。

6. 有这样一类矩阵$A_4=\left[\begin{array}{cccc}0& 1& 0& 0\\ 1& 0& 2& 0\\ 0& 2& 0& 3\\ 0& 0& 3& 0\end{array}\right]$，求投影到$A_3$列空间的投影矩阵

   解：

   法1：有$A_3=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 2\\ 0& 2& 0\end{array}\right]$，按照通常的方法求$P=A\left(A^{T}A\right)A^T$即可，但是这样很麻烦。

   法2：可以考察这个矩阵是否可逆，因为如果可逆的话，${\mathbb{R}}^4$空间中的任何向量都会位于$A_4$的列空间，其投影不变，则投影矩阵为单位矩阵$I$。所以按行展开求行列式$\det A_4=-1\cdot -1\cdot -3\cdot -3=9$，所以矩阵可逆，则$P=I$。

   求$A_3$的特征值及特征向量：$\left|A_3-\lambda I\right|=\left|\begin{array}{ccc}-\lambda & 1& 0\\ 1& -\lambda & 2\\ 0& 2& -\lambda \end{array}\right|=-{\lambda }^3+5\lambda =0$，解得${\lambda }_1=0,{\lambda }_2=\sqrt{5},{\lambda }_3=-\sqrt{5}$。

   猜测这一类矩阵的规律：奇数阶奇异，偶数阶可逆。