25. 复习二

1. 正交矩阵

如果有一组长度为1且相互正交的向量，并且按照列组合在一起的矩阵，就叫正交矩阵；

• 因为$q_i$满足如下条件：
  $$\begin{array}{c}{q}_i^T{q}_j=\{\begin{array}{ll}0,& i\ne j\\ 1.& i=j\end{array},||q_i||=1\end{array}$$
  $$\begin{array}{c}Q=\left[\begin{array}{cccc}{q}_1& q_2& \cdots & q_n\end{array}\right];Q^{T}Q=I\end{array}$$

2. 向量投影

我们有一个列向量$a=[2,1,2{]}^T$，我们需要找到一个投影矩阵P，满足给定任意一个向量b，都能满足向量c=Pb在向量a所在的直线上？

• 方法1：向量法
  $$\begin{array}{c}{a}^{T}b=|a||b|\cdot \cos (\theta )=|a||p|\end{array}$$

• 向量p可以表示为向量长度乘以方向
  $$\begin{array}{c}p=|p|\cdot \frac{a}{|a|}=\frac{a^{T}b}{|a|}\cdot \frac{a}{|a|}=\frac{a{a}^T}{a^{T}a}b\end{array}$$

• 我们可以得出投影矩阵P
  $$\begin{array}{c}p=Pb=\frac{a{a}^T}{a^{T}a}b;P=\frac{a{a}^T}{a^{T}a}\end{array}$$

• 将a向量带入可得：
  $$\begin{array}{c}P=\frac{1}{9}\left[\begin{array}{ccc}4& 2& 4\\ & & \\ 2& 1& 2\\ & & \\ 4& 2& 4\end{array}\right]\end{array}$$

• 我们可以在不计算的情况下求特征值

• 求${\lambda }_1$
  $$\begin{array}{c}Pa=\frac{a{a}^T}{a^{T}a}a=a\Rightarrow Pa=1\cdot a\Rightarrow {\lambda }_1=1,v_1=a\end{array}$$

• 求${\lambda }_2$，我们一定能找到一个向量垂直于P的列向量满足内积为0
  $$\begin{array}{c}Pe=0\cdot e=0\Rightarrow {\lambda }_2=0,v_2=e\end{array}$$

• 求${\lambda }_3$
  $$\begin{array}{c}{\lambda }_1+{\lambda }_2+{\lambda }_3=\frac{1}{9}(4+1+4)=1\Rightarrow {\lambda }_3=0\end{array}$$

• 综上所述，可以得到特征值：
  $$\begin{array}{c}{\lambda }_1=1；{\lambda }_2=0；{\lambda }_3=0；\end{array}$$

• 方法2：矩阵法
  
  一般情况下，我们有方程 $Ax=b$ ,但通常情况下，我们发现 b 不在A的列空间中，也就是说b无法由A的列向量线性组合。这时候我们一般需要将向量b投影到A的列空间中得到向量p,那么明显就能够通过A的列空间线性组合而来，这是我们就用 $\hat{x}$ 近似解来代替 x ,并满足如下：
  $$\begin{array}{c}p=A\hat{x}\end{array}$$

• 由图可得向量e垂直于整个A的列空间平面，e=b-p
  $$\begin{array}{c}e=b-p;a_i^{T}e=0\end{array}$$
  -用矩阵形式表示如下：
  $$\begin{array}{c}\left[\begin{array}{c}{a}_1^T\\ \\ a_2^T\\ \\ ⋮\\ \\ a_n^T\end{array}\right](b-p)=0;A^T(b-A\hat{x})=0\end{array}$$

• 当$A^{T}A$可逆时，整理方程可得：
  $$\begin{array}{c}{A}^{T}A\hat{x}=A^{T}b\Rightarrow \hat{x}=(A^{T}A{)}^{-1}{A}^{T}b\end{array}$$

• 那么投影向量p可以表示如下：
  $$\begin{array}{c}p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b\end{array}$$

• 那么可以得到投影矩阵P表示如下：
  $$\begin{array}{c}P=A(A^{T}A{)}^{-1}{A}^T\end{array}$$
  -现在我们的A为列向量，那么可以整理得到：
  $$\begin{array}{c}P=a(a^{T}a{)}^{-1}{a}^T=\frac{a{a}^T}{a^{T}a}；跟上面的公式一致，真神奇！！！\end{array}$$

3. 差分方程

假设我们有一个投影矩阵P，和一个差分方程，表示如下：
$$\begin{array}{c}P=\frac{1}{9}\left[\begin{array}{ccc}4& 2& 4\\ & & \\ 2& 1& 2\\ & & \\ 4& 2& 4\end{array}\right]；u_{k+1}=P{u}_k;u_0=\left[\begin{array}{c}9\\ \\ 9\\ \\ 0\end{array}\right];a=\left[\begin{array}{c}2\\ \\ 1\\ \\ 2\end{array}\right];\end{array}$$

• 我们可以递归得到$u_1$
  $$\begin{array}{c}P=\frac{a{a}^T}{a^{T}a};u_{k+1}=\frac{a{a}^T}{a^{T}a}u;u_k=P^k{u}_0;P^k=P\end{array}$$
• 整理可得：
  $$\begin{array}{c}{u}_k=P{u}_0=\frac{a{a}^T}{a^{T}a}{u}_0=\frac{a^T{u}_0}{a^{T}a}a=3a=\left[\begin{array}{c}6\\ \\ 3\\ \\ 6\end{array}\right];\end{array}$$

4. 直线拟合

假设我们有如下点，需要用通过原点的直线去拟合直线，使得误差最小。
$$\begin{array}{c}A=(1,4);B=(2,5);C=(3,8);Y=DX\end{array}$$

• 矩阵表达如下：
  $$\begin{array}{c}\left[\begin{array}{c}1\\ \\ 2\\ \\ 3\end{array}\right]\left[\begin{array}{c}{x}_1\\ \\ x_2\\ \\ x_3\end{array}\right]=\left[\begin{array}{c}4\\ \\ 5\\ \\ 8\end{array}\right]\Rightarrow ax=b\end{array}$$
  方程法
• 我们知道向量b不在向量a的列空间中，直接求解无法计算出来，所以需要将向量b投影到向量a所在的直线上。故两边同时乘以$a^T$
  $$\begin{array}{c}{a}^{T}a\hat{x}=a^{T}b\Rightarrow \hat{x}=\frac{a^{T}b}{a^{T}a}=\frac{19}{7}\end{array}$$

5. Gram-Schmidt正交化

假设我们有两个向量$a_1,a_2$表示如下,通过这两个向量，用Gram-Schmidt找到一组正交标准基。
$$\begin{array}{c}{a}_1=\left[\begin{array}{c}1\\ \\ 2\\ \\ 3\end{array}\right];a_2=\left[\begin{array}{c}1\\ \\ 1\\ \\ 1\end{array}\right]\end{array}$$

• 第一个向量$b_1=a_1$
  $$\begin{array}{c}{b}_1=a_1;b_2=a_2-\frac{a_2^T{b}_1}{b_1^T{b}_1}{b}_1=\left[\begin{array}{c}\frac{4}{7}\\ \\ \frac{1}{7}\\ \\ -\frac{2}{7}\end{array}\right]\end{array}$$
• 那么就得到一组标准正交基如下：
  $$\begin{array}{c}{b}_1=\frac{1}{\sqrt{14}}\left[\begin{array}{c}1\\ \\ 2\\ \\ 3\end{array}\right]；b_2=\frac{\sqrt{21}}{7}\left[\begin{array}{c}\frac{4}{7}\\ \\ \frac{1}{7}\\ \\ -\frac{2}{7}\end{array}\right]\end{array}$$

6. 矩阵A的行列式

矩阵A为4行4列，其特征值满足什么条件下，矩阵可逆？
$$\begin{array}{c}det(A)=|A|={\lambda }_1{\lambda }_2{\lambda }_3{\lambda }_4\end{array}$$
由上公式可得：
$$\begin{array}{c}{\lambda }_1{\lambda }_2{\lambda }_3{\lambda }_4\ne 0\Rightarrow |A|\ne 0\Rightarrow A可逆\end{array}$$

• 求$det(A^{-1})$
  $$\begin{array}{c}Ax=\lambda x\Rightarrow A^{-1}Ax=\lambda A^{-1}x\Rightarrow \frac{1}{\lambda }x=A^{-1}x\end{array}$$
• 所以可得：
  $$\begin{array}{c}{A}^{-1}x=\frac{1}{\lambda }x\end{array}$$
• 可以得出：
  $$\begin{array}{c}det(A^{-1})=|A^{-1}|=\frac{1}{{\lambda }_1}\frac{1}{{\lambda }_2}\frac{1}{{\lambda }_3}\frac{1}{{\lambda }_4}\end{array}$$
• 求$det(A+I)$
  $$\begin{array}{c}B=A+I;Bx=Ax+x=(\lambda +1)x\end{array}$$
  $$\begin{array}{c}det(B)=({\lambda }_1+1)({\lambda }_2+1)({\lambda }_3+1)({\lambda }_4+1)\end{array}$$

7. 代数余子式

假设我们由一个矩阵A 表示如下：
$$\begin{array}{c}A=\left[\begin{array}{cccc}1& 1& 0& 0\\ & & & \\ 1& 1& 1& 0\\ & & & \\ 0& 1& 1& 1\\ & & & \\ 0& 0& 1& 1\end{array}\right]；D_n=det(A_n)\end{array}$$

• 对矩阵进行代数余子式的按第一行分解
  $$\begin{array}{c}{D}_n=1\ast (-1{)}^{1+1}{D}_{n-1}+1\ast (-1{)}^{1+2}{D}_{n-2}\end{array}$$
  $$\begin{array}{c}{D}_n=D_{n-1}-D_{n-2}\end{array}$$
• 矩阵形式：
  $$\begin{array}{c}\left[\begin{array}{c}{D}_n\\ \\ D_{n-1}\end{array}\right]=\left[\begin{array}{cc}1& -1\\ & \\ 1& 0\end{array}\right]\left[\begin{array}{c}{D}_{n-1}\\ \\ D_{n-2}\end{array}\right];u_n=\left[\begin{array}{c}{D}_n\\ \\ D_{n-1}\end{array}\right]\Rightarrow u_n=A{u}_{n-1}\end{array}$$
• 将矩阵A进行分解：
  $$\begin{array}{c}{\lambda }_1=\frac{1+\sqrt{3}i}{2};v_1=\left[\begin{array}{c}{\lambda }_1\\ \\ 1\end{array}\right]{\lambda }_2=\frac{1-\sqrt{3}i}{2};v_2=\left[\begin{array}{c}{\lambda }_2\\ \\ 1\end{array}\right]\end{array}$$
• 根据欧拉公式：$e^{\theta i}=\cos (\theta )+i\sin (\theta )$化简特征值：
  $$\begin{array}{c}{\lambda }_1=e^{\frac{\pi }{3}i};{\lambda }_2=e^{-\frac{\pi }{3}i};\end{array}$$
• 可以看出，${\lambda }^6=1$,也就是说
  $$\begin{array}{c}{\lambda }^{k+6}={\lambda }^k\cdot {\lambda }^6={\lambda }^k；{\Lambda }^{k+6}={\Lambda }^k\end{array}$$
• 换到矩阵中可得：
  $$\begin{array}{c}{A}^{k+6}=S{\Lambda }^{k+6}{S}^{-1}=S{\Lambda }^k{S}^{-1}=A^k;\end{array}$$
• 也就是说矩阵$u_k$每6次相乘后的结果跟原来一样。
  $$\begin{array}{c}A\left[\begin{array}{cc}{\lambda }_1& {\lambda }_2\\ & \\ 1& 1\end{array}\right]=\left[\begin{array}{cc}{\lambda }_1& {\lambda }_2\\ & \\ 1& 1\end{array}\right]\left[\begin{array}{cc}{\lambda }_1& 0\\ & \\ 0& {\lambda }_2\end{array}\right]\Rightarrow AS=S\Lambda \end{array}$$
• $u_k$通解：
  $$\begin{array}{c}{u}_k=A^k{u}_0;A=S\Lambda S^{-1};A^k=S{\Lambda }^k{S}^{-1};u_0=S{C}_0\end{array}$$
  $$\begin{array}{c}{u}_k=S{\Lambda }^k{S}^{-1}S{C}_0=S{\Lambda }^k{C}_0；u_{k+6}=u_k\end{array}$$
• 小结：
  矩阵$u_k$既不收敛，又不发散，会沿着周期为6的乘积结果不停转动。

8. 特殊矩阵

8.1 求投影到$A_3$列空间的投影矩阵P

假设有如下矩阵$A_4$,求投影到$A_3$列空间的投影矩阵P
$$\begin{array}{c}{A}_4=\left[\begin{array}{cccc}0& 1& 0& 0\\ & & & \\ 1& 0& 2& 0\\ & & & \\ 0& 2& 0& 3\\ & & & \\ 0& 0& 3& 0\end{array}\right]=A_4^T;A_3=\left[\begin{array}{ccc}0& 1& 0\\ & & \\ 1& 0& 2\\ & & \\ 0& 2& 0\end{array}\right]=A_3^T;\end{array}$$

• $A_3$的列空间中可以看出第1和第2列是不相关的。故可得
  $$\begin{array}{c}{A}_3^{{}^{\prime }}=\left[\begin{array}{cc}0& 1\\ & \\ 1& 0\\ & \\ 0& 2\end{array}\right];A_3^{{}^{\prime }T}=\left[\begin{array}{ccc}0& 1& 0\\ & & \\ 1& 0& 2\end{array}\right];\end{array}$$
• 投影矩阵P可得如下：
  $$\begin{array}{c}P=A_3^{{}^{\prime }}(A_3^{{}^{\prime }T}{A}_3^{{}^{\prime }}{)}^{-1}{A}_3^{{}^{\prime }T}=\left[\begin{array}{ccc}0.2& 0& 0.4\\ & & \\ 0& 1& 0\\ & & \\ 0.4& 0& 0.8\end{array}\right]\end{array}$$

8.2 求投影到$A_4$列空间的投影矩阵P

因为$A_4$的行列式为9，所以$A_4$的可逆，$A_4^T{A}_4$可逆，投影公式P 如下：
$$\begin{array}{c}P=A_4(A_4^T{A}_4{)}^{-1}{A}_4^T=A_4(A_4{)}^{-1}(A_4^T{)}^{-1}{A}_4^T=I\end{array}$$
所以投影矩阵P为单位矩阵 $I$！！！！