线性代数-MIT 18.06-4

本文在学习《麻省理工公开课 线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MIT-B站视频

笔记部分：总结参考子实

16.投影矩阵和最小二乘

投影矩阵

投影矩阵$P=A(A^{T}A{)}^{-1}{A}^T$，$Pb$将会把向量$b$投影在$A$的列空间中。

1. 举两个极端的例子：

• 如果$b\in C(A)$，则$Pb=b$；

在第一个极端情况中，如果$b\in C(A)$则有$b=Ax$。带入投影矩阵$p=Pb=A(A^{T}A{)}^{-1}{A}^{T}Ax=Ax$，得证。

• 如果$b\perp C(A)$，则$Pb=0$。

在第二个极端情况中，如果$b\perp C(A)$则有$b\in N(A^T)$，即$A^{T}b=0$。则$p=Pb=A(A^{T}A{)}^{-1}{A}^{T}b=0$，得证。

2. 一般情况下:

• $b$将会有一个垂直于$A$的分量，有一个在$A$列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。

3. 向量$b$投影后，有$b=e+p,p=Pb,e=(I-P)b$

• 这里的$p$是$b$在$C(A)$中的分量;
• 而$e$是$b$在$N(A^T)$中的分量。

最小二乘法

1. 问题：找到距离图中三个点 $(1,1),(2,2),(3,2)$ 偏差最小的直线：$y=C+Dt$。

根据条件可以得到方程组
$$\{\begin{array}{ll}C+D& =1\\ C+2D& =2\\ C+3D& =2\end{array}$$

写作矩阵形
$$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$$

也就是我们的$Ax=b$，很明显方程组无解。

2. 问题转化：

我们需要在$b$的三个分量上都增加某个误差$e$，使得三点能够共线，同时使得$e_1^2+e_2^2+e_3^2$最小，找到拥有最小平方和的解（即最小二乘），即${\Vert Ax-b\Vert }^2={\Vert e\Vert }^2$最小。

此时向量$b$变为向量$p=\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right]$（在方程组有解的情况下，$Ax-b=0$，即$b$在$A$的列空间中，误差$e$为零。）

线性回归

我们现在做的运算也称作线性回归（linear regression），使用误差的平方和作为测量总误差的标准。

注：如果有另一个点，如$(0,100)$，在本例中该点明显距离别的点很远，最小二乘将很容易被离群的点影响，通常使用最小二乘时会去掉明显离群的点。

3. 问题求解：

现在我们尝试解出$\hat{x}=\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]$与$p=\left[\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right]$。

正规方程组

$$\begin{gathered} A^{T}A\hat{x}=A^{T}b \\ {A}^{T}A=\left[\begin{array}{cc}3& 6\\ 6& 14\end{array}\right]A^{T}b=\left[\begin{array}{c}5\\ 11\end{array}\right] \\ \left[\begin{array}{cc}3& 6\\ 6& 14\end{array}\right]\left[\begin{array}{c}\hat{C}\\ \hat{D}\end{array}\right]=\left[\begin{array}{c}5\\ 11\end{array}\right] \end{gathered}$$

写作方程形式为
$$\{\begin{array}{ll}3\hat{C}+16\hat{D}& =5\\ 6\hat{C}+14\hat{D}& =11\end{array}$$
也称作正规方程组（normal equations）。

4. 解法验证：

回顾前面提到的“使得误差最小”的条件，$e_1^2+e_2^2+e_3^2=(C+D-1{)}^2+(C+2D-2{)}^2+(C+3D-2{)}^2$，使该式取最小值，如果使用微积分方法，则需要对该式的两个变量$C,D$分别求偏导数，再令求得的偏导式为零即可，正是我们刚才求得的正规方程组。（正规方程组中的第一个方程是对$C$求偏导的结果，第二个方程式对$D$求偏导的结果，无论使用哪一种方法都会得到这个方程组。）

解方程得$\hat{C}=\frac{2}{3},\hat{D}=\frac{1}{2}$，则“最佳直线”为$y=\frac{2}{3}+\frac{1}{2}t$，带回原方程组解得$p_1=\frac{7}{6},p_2=\frac{5}{3},p_3=\frac{13}{6}$，即$e_1=-\frac{1}{6},e_2=\frac{1}{3},e_3=-\frac{1}{6}$

于是我们得到$p=\left[\begin{array}{c}\frac{7}{6}\\ \frac{5}{3}\\ \frac{13}{6}\end{array}\right],e=\left[\begin{array}{c}-\frac{1}{6}\\ \frac{1}{3}\\ -\frac{1}{6}\end{array}\right]$，易看出$b=p+e$，同时我们发现$p\cdot e=0$即$p\perp e$。

误差向量$e$不仅垂直于投影向量$p$，它同时垂直于列空间，如 $\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$。

$A^{T}A$可逆性

接下来我们观察$A^{T}A$，如果$A$的各列线性无关，求证$A^{T}A$是可逆矩阵。

证明：

• 先假设$A^{T}Ax=0$，两边同时乘以$x^T$有$x^T{A}^{T}Ax=0$，即$(Ax{)}^T(Ax)=0$。

• 一个矩阵乘其转置结果为零，则这个矩阵也必须为零（$(Ax{)}^T(Ax)$相当于$Ax$长度的平方）。

• 则$Ax=0$，结合题设中的“$A$的各列线性无关”，可知$x=0$，也就是$A^{T}A$的零空间中有且只有零向量，得证。

注：这里使用了一个技巧：两边同时乘以$x^T$

引入标准正交向量组

我们再来看一种线性无关的特殊情况：互相垂直的单位向量一定是线性无关的。

• 比如$\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$，这三个正交单位向量也称作标准正交向量组（orthonormal vectors）。
• 另一个例子$\left[\begin{array}{c}\cos \theta \\ \sin \theta \end{array}\right]\left[\begin{array}{c}-\sin \theta \\ \cos \theta \end{array}\right]$

17.正交矩阵和Gram-Schmidt正交化法

标准正交矩阵

标准正交向量

标准正交向量（orthonormal）：$q_i^T{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$

标准正交矩阵

将标准正交向量放入矩阵中，有$Q=[q_1{q}_2\cdots q_n]$。

上一讲我们研究了$A^A$的特性，现在来观察$Q^{T}Q=\left[\begin{array}{ccc}& q_1^T& \\ & q_2^T& \\ & ⋮& \\ & q_n^T& \end{array}\right][q_1{q}_2\cdots q_n]$

根据标准正交向量的定义，计算$Q^{T}Q=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]=I$

把$Q$成为标准正交矩阵（orthonormal matrix）。

特别的，当$Q$恰好是方阵时，由于正交性，易得$Q$是可逆的，又$Q^{T}Q=I$，所以$Q^T=Q^{-1}$。

实例

• 举个置换矩阵的例子：$Q=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]$，则$Q^T=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]$，易得$Q^{T}Q=I$。
• 使用上一讲的例子$Q=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$，列向量长度为$1$，且列向量相互正交。
• 其他例子$Q=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$，列向量长度为$1$，且列向量相互正交。
• 使用上一个例子的矩阵，令$Q^{\prime }=c\left[\begin{array}{cc}Q& Q\\ Q& -Q\end{array}\right]$，取合适的$c$另列向量长度为$1$也可以构造标准正交矩阵：$Q=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]$，这种构造方法以阿德玛（Adhemar）命名，对$2,4,16,64,\cdots$阶矩阵有效。
• 再来看一个例子，$Q=\frac{1}{3}\left[\begin{array}{ccc}1& -2& 2\\ 2& -1& -2\\ 2& 2& 1\end{array}\right]$，列向量长度为$1$，且列向量相互正交。格拉姆-施密特正交化法的缺点在于，由于要求得单位向量，所以我们总是除以向量的长度，这导致标准正交矩阵中总是带有根号，而上面几个例子很少有根号。

再来看标准正交化有什么好处，假设要做投影，将向量$b$投影在标准正交矩阵$Q$的列空间中，根据上一讲的公式得$P=Q(Q^{T}Q{)}^{-1}{Q}^T$，易得$P=Q{Q}^T$。我们断言，当列向量为标准正交基时，$Q{Q}^T$是投影矩阵。极端情况，假设矩阵是方阵，而其列向量是标准正交的，则其列空间就是整个向量空间，而投影整个空间的投影矩阵就是单位矩阵，此时$Q{Q}^T=I$。可以验证一下投影矩阵的两个性质：$(Q{Q}^T{)}^T=(Q^T{)}^T{Q}^T=Q{Q}^T$，得证；$(Q{Q}^T{)}^2=Q{Q}^{T}Q{Q}^T=Q(Q^{T}Q)Q^T=Q{Q}^T$，得证。

我们计算的$A^{T}A\hat{x}=A^{T}b$，现在变为$Q^{T}Q\hat{x}=Q^{T}b$，也就是$\hat{x}=Q^{T}b$，分解开来看就是 $\underline{{\hat{x}}_i=q_i^{T}b}$，这个式子在很多数学领域都有重要作用。当我们知道标准正交基，则解向量第$i$个分量为基的第$i$个分量乘以$b$，在第$i$个基方向上的投影就等于$q_i^{T}b$。

Gram-Schmidt正交化法

二维示例

我们有两个线性无关的向量$a,b$，先把它们化为正交向量$A,B$，再将它们单位化，变为单位正交向量$q_1=\frac{A}{\Vert A\Vert },q_2=\frac{B}{\Vert B\Vert }$：

1. 我们取定$a$向量的方向，$a=A$；

2. 接下来将$b$投影在$A$的法方向上得到$B$，也就是求子空间投影一讲中，我们提到的误差向量$e=b-p$，即$B=b-\frac{A^{T}b}{A^{T}A}A$。

3. 检验一下$A\perp B$，$A^{T}B=A^{T}b-A^T\frac{A^{T}b}{A^{T}A}A=A^{T}b-\frac{A^{T}A}{A^{T}A}{A}^{T}b=0$。（$\frac{A^{T}b}{A^{T}A}A$就是$A\hat{x}=p$。）

三维示例

我们有三个线性无关的向量$a,b,c$，则我们现需要求它们的正交向量$A,B,C$，再将它们单位化，变为单位正交向量$q_1=\frac{A}{\Vert A\Vert },q_2=\frac{B}{\Vert B\Vert },q_3=\frac{C}{\Vert C\Vert }$：

1. 前两个向量我们已经得到了，我们现在需要求第三个向量同时正交于$A,B$；

2. 我们依然沿用上面的方法，从$c$中减去其在$A,B$上的分量，得到正交与$A,B$的$C$

$$C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$$

3. 现在我们试验一下推导出来的公式，$a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],b=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$：

• 则$A=a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$；

• 根据公式有$B=a-hA$，$h$是比值$\frac{A^{T}b}{A^{T}A}=\frac{3}{3}$，则$B=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-\frac{3}{3}\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]=\left[\begin{array}{c}0\\ -1\\ 1\end{array}\right]$。验证一下正交性有$A\cdot B=0$。

• 单位化，$q_1=\frac{1}{\sqrt{3}}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],q_2=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$，则标准正交矩阵为$Q=\left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ \frac{1}{\sqrt{3}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{2}}\end{array}\right]$，对比原来的矩阵$D=\left[\begin{array}{cc}1& 1\\ 1& 0\\ 1& 2\end{array}\right]$

  $D,Q$的列空间是相同的，只是将原来的基标准正交化。

矩阵理解（QR分解）

用矩阵的眼光审视消元法，有$A=LU$。

同样的，用矩阵表达标准正交化，$A=QR$。

设矩阵$A$有两个列向量$\left[a_1{a}_2\right]$，则标准正交化后有
$$\begin{gathered} \left[a_1{a}_2\right] \\ =\left[q_1{q}_2\right]\left[\begin{array}{cc}{a}_1^T{q}_1& a_2^T{q}_1\\ a_1^T{q}_2& a_2^T{q}_2\end{array}\right] \\ =\left[q_1{q}_2\right]\left[\begin{array}{cc}{a}_1^T{q}_1& a_2^T{q}_1\\ 0& a_2^T{q}_2\end{array}\right] \end{gathered}$$

而左下角的$a_1^T{q}_2$始终为$0$。

因为Gram-Schmidt正交化总是使得$a_1\perp q_2$，后来构造的向量总是正交于先前的向量。所以这个$R$矩阵是一个上三角矩阵。

18.行列式及其性质

行列式（determinant）的**前三条性质(重要)**可以推导出其他7条性质

1. $\det I=1$，单位矩阵行列式值为一。

2. 交换行行列式变号。

   在给出第三个性质之前，先由前两个性质可知，对置换矩阵有$\det P=\{\begin{array}{ll}1& even\\ -1& odd\end{array}$。

   举例：$\left|\begin{array}{cc}1& 0\\ 0& 1\end{array}\right|=1,\left|\begin{array}{cc}0& 1\\ 1& 0\end{array}\right|=-1$，于是我们猜想，对于二阶方阵，行列式的计算公式为$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=ad-bc$。

3. a. $\left|\begin{array}{cc}ta& tb\\ tc& td\end{array}\right|=t\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$。

   b. $\left|\begin{array}{cc}a+a^{\prime }& b+b^{\prime }\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}{a}^{\prime }& b^{\prime }\\ c& d\end{array}\right|$。

4. 如果两行相等，则行列式为零。使用性质2交换两行易证。

5. 从第$k$行中减去第$i$行的$l$倍，行列式不变。这条性质是针对消元的，我们可以先消元，将方阵变为上三角形式后再计算行列式。

   举例：$\left|\begin{array}{cc}a& b\\ c-la& d-lb\end{array}\right|\stackrel{3.b}{=}\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}a& b\\ -la& -lb\end{array}\right|\stackrel{3.a}{=}\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|-l\left|\begin{array}{cc}a& b\\ a& b\end{array}\right|\stackrel{4}{=}\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$

6. 如果方阵的某一行为零，则其行列式值为零。

   使用性质3.a对为零行乘以不为零系数$l$，使$l\det A=\det A$即可证明；或使用性质5将某行加到为零行，使存在两行相等后使用性质4即可证明。

7. 有上三角行列式$U=\left|\begin{array}{cccc}{d}_1& \ast & \cdots & \ast \\ 0& d_2& \cdots & \ast \\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & d_n\end{array}\right|$，则$\det U=d_1{d}_2\cdots d_n$。

   • 使用性质5，从最后一行开始，将对角元素上方的$\ast$元素依次变为零，可以得到型为$D=\left|\begin{array}{cccc}{d}_1& 0& \cdots & 0\\ 0& d_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & d_n\end{array}\right|$的对角行列式

   • 再使用性质3将对角元素提出得到$d_n{d}_{n-1}\cdots d_1\left|\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right|$，得证。

8. 当矩阵$A$为奇异矩阵时，$\det A=0$；当且仅当$A$可逆时，有$\det A\ne 0$。

   如果矩阵可逆，则化简为上三角形式后各行都含有主元，行列式即为主元乘积；如果矩阵奇异，则化简为上三角形式时会出现全零行，行列式为零。

   再回顾二阶情况：$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|\stackrel{消元}{\to }\left|\begin{array}{cc}a& b\\ 0& d-\frac{c}{a}b\end{array}\right|=ad-bc$，前面的猜想得到证实。

9. $\det AB=(\det A)(\det B)$。

   使用这一性质，$\det I=\det A^{-1}A=\det A^{-1}\det A$，所以$\det A^{-1}=\frac{1}{\det A}$。

   同时还可以得到：$\det A^2=(\det A{)}^2$，以及$\det 2A=2^n\det A$。（物理含义：类比体积）

10. $\det A^T=\det A$

    前面一直在关注行的属性给行列式带来的变化，有了这条性质，行的属性同样适用于列，比如对性质2就有“交换列行列式变号”。

    证明：$\left|A^T\right|=\left|A\right|\to \left|U^T{L}^T\right|=\left|LU\right|\to \left|U^T\right|\left|L^T\right|=\left|L\right|\left|U\right|$，值得注意的是，$L,U$的行列式并不因为转

19.行列式公式和代数余子式

复习三条基本性质

1. $\det I=1$；
2. 交换行行列式变号；
3. 对行列式的每一行都可以单独使用线性运算，其值不变；

行列式计算（分解）

二阶方阵行列式：

$$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& 0\\ c& d\end{array}\right|+\left|\begin{array}{cc}0& b\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& 0\\ c& 0\end{array}\right|+\left|\begin{array}{cc}a& 0\\ 0& d\end{array}\right|+\left|\begin{array}{cc}0& b\\ c& 0\end{array}\right|+\left|\begin{array}{cc}0& b\\ 0& d\end{array}\right|=ad-bc$$

三阶方阵行列式：

$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=\left|\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& a_{22}& 0\\ 0& 0& a_{33}\end{array}\right|+\left|\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& 0& a_{23}\\ 0& a_{32}& 0\end{array}\right|+\left|\begin{array}{ccc}0& a_{12}& 0\\ a_{21}& 0& 0\\ 0& 0& a_{33}\end{array}\right|+\left|\begin{array}{ccc}0& a_{12}& 0\\ 0& 0& a_{23}\\ a_{31}& 0& 0\end{array}\right|+\left|\begin{array}{ccc}0& 0& a_{13}\\ a_{21}& 0& 0\\ 0& a_{32}& 0\end{array}\right|+\left|\begin{array}{ccc}0& 0& a_{13}\\ 0& a_{22}& 0\\ a_{31}& 0& 0\end{array}\right|$$

我们只需要找到不为零的行列式，求和即可：

$$原式=a_{11}{a}_{22}{a}_{33}-a_{11}{a}_{23}{a}_{32}-a_{12}{a}_{21}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32}-a_{13}{a}_{22}{a}_{31}$$

n阶方阵行列式推广：

按照上面的式子可知$n$阶行列式应该可以分解成$n!$个非零行列式（占据第一行的元素有$n$种选择，占据第二行的元素有$n-1$种选择，以此类推得$n!$）：

$$\det A=\sum _{n!}\pm a_{1\alpha }{a}_{2\beta }{a}_{3\gamma }\cdots a_{n\omega },(\alpha ,\beta ,\gamma ,\omega )=P_n^n\text{\hspace{1em}(2)}$$

符号确定的规律：

上述公式还不完全，接下来需要考虑如何确定符号：
$$\left|\begin{array}{cccc}0& 0& \overline{1}& \underline{1}\\ 0& \overline{1}& \underline{1}& 0\\ \overline{1}& \underline{1}& 0& 0\\ \underline{1}& 0& 0& \overline{1}\end{array}\right|$$

• 观察带有下划线的元素，它们的排列是$(4,3,2,1)$，变为$(1,2,3,4)$需要两步操作，所以应取$+$；
• 观察带有上划线的元素，它们的排列是$(3,2,1,4)$，变为$(1,2,3,4)$需要一步操作，所以应取$-$。
• 观察其他元素，我们无法找出除了上面两种以外的排列方式，于是该行列式值为零，这是一个奇异矩阵。

代数余子式

此处引入代数余子式（cofactor）的概念，它的作用是把$n$阶行列式化简为$n-1$阶行列式。

定义$a_{ij}$的代数余子式：

将原行列式的第$i$行与第$j$列抹去后得到的$n-1$阶行列式记为$C_{ij}$，$i+j$为偶时时取$+$，$i+j$为奇时取$-$。

将行列式$A$沿第一行展开：

$$\det A=a_{11}{C}_{11}+a_{12}{C}_{12}+\cdots +a_{1n}{C}_{1n}$$

求行列式小结

到现在为止，我们了解了三种求行列式的方法：

1. 消元，$\det A$就是主元的乘积；
2. 使用展开方法，求$n!$项之积；
3. 使用代数余子式。

20.克拉默法则、逆矩阵、体积

本讲主要介绍逆矩阵的应用。

逆矩阵

对于二阶矩阵有
$${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}=\frac{1}{ad-bc}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]$$
观察易得，系数项就是行列式的倒数，而矩阵则是由一系列代数余子式组成的。先给出公式：
$$A^{-1}=\frac{1}{\det A}{C}^T$$

观察这个公式的运作，化简公式得$A{C}^T=(\det A)I$，写成矩阵形式：
$$\begin{gathered} \left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]\left[\begin{array}{ccc}{C}_{11}& \cdots & C_{n1}\\ C_{12}& \cdots & C_{n2}\\ ⋮& \ddots & ⋮\\ C_{1n}& \cdots & C_{nn}\end{array}\right]=Res \\ Res=\left[\begin{array}{cccc}\det A& 0& \cdots & 0\\ 0& \det A& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & \det A\end{array}\right]=(\det A)I \end{gathered}$$

下面从结果的对角线和非对角线元素出发进行解释：

$Res$对角线元素:

观察其结果的元素$Re{s}_{11}=a_{11}{C}_{11}+a_{12}{C}_{12}+\cdots +a_{1n}{C}_{1n}$，这正是上一讲提到的将行列式按第一行展开的结果。

同理，对$Re{s}_{22},\cdots ,Re{s}_{nn}$都有$Re{s}_{ii}=\det A$，即对角线元素均为$\det A$。

$Res$非对角线元素:

元素$Re{s}_{1n}=a_{11}{C}_{n1}+a_{12}{C}_{n2}+\cdots +a_{1n}{C}_{nn}$，该元素是第一行与最后一行的代数余子式相乘之积。

这个式子也可以写成一个特殊矩阵的行列式，即矩阵
$$A_s=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n-a1}& a_{n-12}& \cdots & a_{n-1n}\\ a_{11}& a_{12}& \cdots & a_{1n}\end{array}\right]$$

计算此矩阵的行列式，将$\det A_s$按最后一行展开，也得到$\det A_s=a_{11}{C}_{n1}+a_{12}{C}_{n2}+\cdots +a_{1n}{C}_{nn}$。

行列式$A_s$有两行相等，其值为零。

综上，结合对角线元素与非对角线元素的结果，得到$Res$就是$(\det A)I$，得证。

求解$Ax=b$和克拉默法则

因为我们现在有了逆矩阵的计算公式，所以对$Ax=b$有
$$x=A^{-1}b=\frac{1}{\det A}{C}^{T}b$$
这就是计算$x$的公式，即克莱默法则（Cramer’s rule）。

克拉默理解：

观察$x=\frac{1}{\det A}{C}^{T}b$，我们将得到的解拆分开来，对$x$的第一个分量有$x_1=\frac{y_1}{\det A}$，这里$y_1$是一个数字，其值为
$$y_1=b_1{C}_{11}+b_2{C}_{21}+\cdots +b_n{C}_{n1}$$
当我们看到数字与代数余子式乘之积求和时，都应该联想到求行列式，也就是说$y_1$可以看做是一个矩阵的行列式

我们设这个矩阵为$B_1$。所以有$x_1=\frac{\det B_1}{\det A}$。

而$B_1$是一个形为
$$[b{a}_2{a}_3\cdots a_n]$$
的矩阵，即将矩阵$A$的第一列变为$b$向量而得到的新矩阵。其实很容易看出，$\det B_1$可以沿第一列展开得到
$$y_1=b_1{C}_{11}+b_2{C}_{21}+\cdots +b_n{C}_{n1}$$
一般的，有$B_j=[a_1{a}_2\cdots a_{j-1}b{a}_{j+1}\cdots a_n]$，即将矩阵$A$的第$j$列变为$b$向量而得到的新矩阵。

所以，对于解的分量有
$$x_j=\frac{\det B_j}{\det A}$$
克莱默法则公式虽然很漂亮简洁但是计算并不方便。

关于体积（Volume）

命题：行列式的绝对值等于一个箱子的体积。

三维情形

1. 对于$3$阶方阵$A$，取第一行$(a_1,a_2,a_3)$，令其为三维空间中点$A_1$的坐标，同理有点$A_2,A_3$。连接这三个点与原点可以得到三条边，使用这三条边展开得到一个平行六面体，$\Vert \det A\Vert$就是该平行六面体的体积。

2. 对于三阶单位矩阵，其体积为$\det I=1$，此时这个箱子是一个单位立方体。这其实也证明了前面学过的行列式性质1。于是我们想，如果能接着证明性质2、3即可证明体积与行列式的关系。

   对于行列式性质2，我们交换两行并不会改变箱子的大小，同时行列式的绝对值也没有改变，得证。

3. 对于标准正交矩阵，现在我们取矩阵$A=Q$，而$Q$是一个标准正交矩阵，此时这个箱子是一个立方体，可以看出其实这个箱子就是刚才的单位立方体经过旋转得到的。对于标准正交矩阵，有$Q^{T}Q=I$，等式两边取行列式得$\det (Q^{T}Q)=1=\left|Q^T\right|\left|Q\right|$，而根据行列式性质10有$\left|Q^T\right|=\left|Q\right|$，所以$原式={\left|Q\right|}^2=1,\left|Q\right|=\pm 1$。

4. 接下来在考虑不再是“单位”的立方体，即长方体。 假设$Q$矩阵的第一行翻倍得到新矩阵$Q_2$，此时箱子变为在第一行方向上增加一倍的长方体箱子，也就是两个“标准正交箱子”在第一行方向上的堆叠。易知这个长方体箱子是原来体积的两倍，而根据行列式性质3.a有$\det Q_2=\det Q$，于是体积也符合行列式的数乘性质。

二维情形

二阶方阵的情形，$\left|\begin{array}{cc}a+a^{\prime }& b+b^{\prime }\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}{a}^{\prime }& b^{\prime }\\ c& d\end{array}\right|$。

在二阶情况中，行列式就是一个求平行四边形面积的公式，原来我们求由四个点$(0,0),(a,b),(c,d),(a+c,b+d)$围成的四边形的面积，需要先求四边形的底边长，再做高求解，现在只需要计算$\det A=ad-bc$即可（更加常用的是求由$(0,0),(a,b),(c,d)$围成的三角形的面积，即$\frac{1}{2}(ad-bc)$）。

也就是说，如果知道了歪箱子的顶点坐标，求面积（二阶情形）或体积（三阶情形）时，我们不再需要开方、求角度，只需要计算行列式的值就行了。

更一般情形下：

由点$(x_1,y_1),(x_2,y_2),(x_3,y_3)$围成的三角形面积等于
$$\frac{1}{2}\left|\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ x_3& y_3& 1\end{array}\right|$$
计算时分别用第二行、第三行减去第一行化简到第三列只有一个$1$（这个操作实际作用是将三角形移动到原点），得到
$$\frac{1}{2}\left|\begin{array}{ccc}{x}_1& y_1& 1\\ x_2-x_1& y_2-y_1& 0\\ x_3-x_1& y_3-y_1& 0\end{array}\right|$$

计算$\det A=ad-bc$即可（更加常用的是求由$(0,0),(a,b),(c,d)$围成的三角形的面积，即$\frac{1}{2}(ad-bc)$）。

也就是说，如果知道了歪箱子的顶点坐标，求面积（二阶情形）或体积（三阶情形）时，我们不再需要开方、求角度，只需要计算行列式的值就行了。

更一般情形下：

由点$(x_1,y_1),(x_2,y_2),(x_3,y_3)$围成的三角形面积等于
$$\frac{1}{2}\left|\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ x_3& y_3& 1\end{array}\right|$$
计算时分别用第二行、第三行减去第一行化简到第三列只有一个$1$（这个操作实际作用是将三角形移动到原点），得到
$$\frac{1}{2}\left|\begin{array}{ccc}{x}_1& y_1& 1\\ x_2-x_1& y_2-y_1& 0\\ x_3-x_1& y_3-y_1& 0\end{array}\right|$$

再按照第三列展开，得到三角形面积等于$\frac{(x_2-x_1)(y_3-y_1)-(x_3-x_1)(y_2-y_1)}{2}$。