25复习课

前面几节讲了几个内容：

• 正交及投影
• 行列式
• 特征值和特征向量
• 应用：特征值和特征向量

概念

一、正交及投影

首先定义了两个向量正交的概念，然后将这个概念扩展到子空间，最后在四个基本子空间中讨论相互之间的正交性。有了向量、矩阵正交的概念后，接着讨论了向量在直线和平面上投影的表示方法，最后讲了如何利用投影的几何意义来求解一些最优化的问题。核心就是投影矩阵$P$：
$$P=A(A^{T}A{)}^{-1}A$$

二、行列式

行列式主要就是在谈论方阵的一个属性，这个属性可以由一个数来表示。前三个性质能够推导出剩下的所有性质，如果可能请记住这些性质：

• 单位矩阵的行列式为1（性质1）
• 一次行交换行列式值相反（性质2）
• 线性提取或者线性展开（性质3）
• 相同行行列式为0
• 加减其它行倍数值不变
• 有零行行列式为零
• 上三角行列式对角线之积为行列式
• 奇异矩阵值为零，非奇异不为零
• 矩阵乘积行列式等于两个矩阵分别行列式后乘积
• 转置前后行列式不变

接着引出了余子式和代数余子式的概念，结合伴随矩阵给出了求解逆矩阵的一个重要公式：
$$A^{-1}=\frac{C^T}{|A|}$$

三、特征值和特征向量

一个方阵一定有特征值和特征向量，满足以下关系：
$$Ax=\lambda x$$
将上面的式子转换到我们的方程$Ax=0$ 上，求解特征值和特征向量就变成了求解方程组的零空间的过程。有了特征向量的概念，就有了特征向量（列）构成的特征向量矩阵$S$，于是我们多了一种矩阵分解的方法：
$$A=S\Lambda S^{-1}$$

四、特征向量和特征值的应用

• 微分方程
• 递推公式求解

这一部分和工科联系很紧密，比如说稳定性判断、终值等。

习题

Q1 关于投影

• 给定向量$a=\left[\begin{array}{c}2\\ 1\\ 2\end{array}\right]$，求这个向量的投影矩阵$P$。

直接套用公式即可：
$$P=\frac{a{a}^T}{a^{T}a}=\frac{1}{9}\left[\begin{array}{ccc}4& 2& 4\\ 2& 1& 2\\ 4& 2& 4\end{array}\right]$$
其实，它是一个秩为1的矩阵，矩阵$P$的列空间向量只有一个，所以其维数为$1$，对应的零空间为$3-1=2$维。所有其他矩阵都可以通过投影矩阵投影到向量$a$上，也就是：
$$Px=\lambda a$$
现在来考察一下特征值的情况，因为特征值是对应零空间的每一个分量，而零空间只有1个分量，所以特征值必有两个0，那么最后一个特征值应该是1，这是因为：
$$Pa=1a$$
将向量$a$投影到自身。

还是这个投影矩阵，如果状态向量$u$满足：
$$u_{k+1}=P{u}_k{u}_0=\left[\begin{array}{c}9\\ 9\\ 0\end{array}\right]$$
那么如何求解其通项？

不妨计算一下$u_1$：
$$u_1=P{u}_0=a\frac{a^T{u}_0}{a^{T}a}=a\frac{27}{9}=3a=\left[\begin{array}{c}6\\ 3\\ 6\end{array}\right]$$
因为$P$是一个投影矩阵，所以有$P^k=P$，故通项公式为：
$$u_k=P{u}_0$$
假如$P$是一个普通矩阵，那么就需要利用到特征值和特征向量了：
$$u_0=c_1{x}_1+c_2{x}_2+c_3{x}_3$$

$$u_k=c_1{\lambda }_1{x}_1+c_2{\lambda }_2{x}_2+c_3{\lambda }_3{x}_3$$

Q2 最小二乘拟合

点坐标如下：

t	y
1	4
2	5
3	8

求一条最佳的经过原点的拟合直线方程。设直线方程为：
$$y=Dt$$
带入点坐标后：
$$\begin{gathered} 1D=4 \\ 2D=5 \\ 3D=8 \end{gathered}$$
写成矩阵形式：
$$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]D=\left[\begin{array}{c}4\\ 5\\ 8\end{array}\right]$$
显然这个方程是没有解的，转而求其最优解：
$$A^{T}A\hat{D}=A^{T}b$$
也就是：
$$\hat{D}=(A^{T}A{)}^{-1}{A}^{T}b=\frac{38}{14}$$

Q3 施密特正交化

已知向量$a_1=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$和$a_2=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$，将其变成正交向量组。其实只要知道公式就没有什么难度了。将其中一个向量作为第一个正交向量，这里选择$A1=a_1$，所以：
$$A2=a_2-\frac{a_1^T{a}_2}{a_1^T{a}_1}{a}_1=\left[\begin{array}{c}\frac{8}{14}\\ \frac{2}{14}\\ \frac{-4}{14}\end{array}\right]$$
所求的正交基为$A1$ $A2$组成的向量组。

Q4 特征值与矩阵可逆的关系

特征值全不为0的充要条件是矩阵可逆。假设特征值为零，$Ax=\lambda x$变成$Ax=0$，如果矩阵$A$可逆，那么特征值为零与特征向量定义矛盾，所以特征值要全不为零。或者你可以直接用矩阵行列式的值等于特征值之积，一旦有一个为0，行列式就会为零，也就是奇异（不可逆的）

除此，矩阵逆的行列式等于特征值之积的倒数。

$A+I$的迹等于原迹+阶数。

Q5 求有递推矩阵的行列式

矩阵的变化规律如下：
$$A_4=\left[\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 1& 0\\ 0& 1& 1& 1\\ 0& 0& 1& 1\end{array}\right]$$
OK！基本思路利用代数余子式进行展开，然后再利用特征值求解。设：$D_n=det(A_n)$
$$D_n=?D_{n-1}+?D_{n-2}$$
按第一行展开，第一个元素的行列式为：$D_{n-1}$，第二个元素的行列式为$-D_{n-2}$，所以：
$$D_n=D_{n-1}-D_{n-2}$$
增加一个方程：
$$D_{n-1}=D_{n-1}$$
两个式子写成矩阵形式：
$$\left[\begin{array}{c}{D}_n\\ D_{n-1}\end{array}\right]=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{D}_{n-1}\\ D_{n-2}\end{array}\right]$$
容易求的其特征值为：
$$\lambda =\frac{1\pm \sqrt{3}i}{2}$$
特征根为负数，且模为1，如果在复平面上表示恰好在单位圆的上下两部分（角度为正负60度位置），用欧拉公式也可以写成指数形式$e^{\frac{\pi }{3}i}$和$e^{-\frac{\pi }{3}i}$，这里不进行具体的求解。

那么这个矩阵的稳定性如何？之前的课程里说到指数函数通过特征值$\lambda$是否大于1即可得出矩阵是否稳定，对于虚数暂未讨论，这里的特征根是一个虚数，且其六次方为1，所以是一个既不收敛也不发散的周期函数。

Q6给出下面变化规律的矩阵：
$$A_4=\left[\begin{array}{cccc}0& 1& 0& 0\\ 1& 0& 2& 0\\ 0& 2& 0& 3\\ 0& 0& 3& 0\end{array}\right]=A_4^T$$

• 求投影到$A_3=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 2\\ 0& 2& 0\end{array}\right]$的投影矩阵。
  在前几节的课上， 我们讨论了在直线和平面的投影，他们都可以归结于一个公式：
  $$P=A(A^{T}A{)}^{-1}{A}^T$$
  不过对于对直线投影我们有更加特殊的形式（$A^{T}A=\frac{1}{A^{T}A}$），即
  $$P=\frac{A{A}^T}{A^{T}A}$$
  对于更加大的空间，也可以使用其一般式子：
  $$P=A(A^{T}A{)}^{-1}{A}^T$$
  计算的时候发现没有办法直接通过上述矩阵运算直接求解，因为$A^{T}A$是不可逆的，只能是求更低维度的投影（平面）。也就是$A=\left[\begin{array}{cc}0& 1\\ 1& 0\\ 0& 2\end{array}\right]$.

$$P=\left[\begin{array}{ccc}0.2000& 0& 0.4000\\ 0& 1.0000& 0\\ 0.4000& 0& 0.8000\end{array}\right]$$

• 求$A_3$的特征值和特征向量
  特征值容易题求得为$0$和 $\pm \sqrt{5}$，特征向量略。

• 求投影到$A_4$列空间的投影矩阵
  最简单的方法就是套用公式，但是可以更加简单，因为矩阵是可逆的，所以投影矩阵应该是一个单位向量。因为$P=A(A^{T}A{)}^{-1}{A}^T=A{A}^{-1}(A^T{)}^{-1}{A}^T=I$