线性代数及矩阵论（五）

线性代数原文 MIT 18.06 线性代数笔记
矩阵论笔记来自 工程矩阵理论
综合线性代数 机器学习的数学基础
配合视频 线性代数 工程矩阵理论

十八、行列式及其性质

本讲我们讨论出行列式（determinant）的性质：

1. $|E|=1$，单位矩阵行列式值为一。

2. 交换行，行列式变号。

   在给出第三个性质之前，先由前两个性质可知，对置换矩阵有$|P|=\{\begin{array}{ll}1& even\\ -1& odd\end{array}$。

   举例：$\left|\begin{array}{cc}1& 0\\ 0& 1\end{array}\right|=1,\left|\begin{array}{cc}0& 1\\ 1& 0\end{array}\right|=-1$，于是我们猜想，对于二阶方阵，行列式的计算公式为$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=ad-bc$。

3. a. $\left|\begin{array}{cc}ta& tb\\ c& d\end{array}\right|=t\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$，或 $\left|\begin{array}{cc}ta& b\\ tc& d\end{array}\right|=t\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$

   b. $\left|\begin{array}{cc}a+a^{\prime }& b+b^{\prime }\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}{a}^{\prime }& b^{\prime }\\ c& d\end{array}\right|$。

   注意：这里并不是指$|A+B|=|A|+|B|$，方阵相加会使每一行相加，这里仅是针对某一行的线性变换。

4. 如果两行相等，则行列式为零。使用性质2交换两行易证。

5. 从第$k$行中减去第$i$行的$l$倍，行列式不变。这条性质是针对消元的，我们可以先消元，将方阵变为上三角形式后再计算行列式。

   举例：$\left|\begin{array}{cc}a& b\\ c-la& d-lb\end{array}\right|\stackrel{3.b}{=}\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}a& b\\ -la& -lb\end{array}\right|\stackrel{3.a}{=}\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|-l\left|\begin{array}{cc}a& b\\ a& b\end{array}\right|\stackrel{4}{=}\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$

6. 如果方阵的某一行为零，则其行列式值为零。使用性质3.a对为零行乘以不为零系数$l$，使$l|A|=|A|$即可证明；或使用性质5将某行加到为零行，使存在两行相等后使用性质4即可证明。

7. 有上三角行列式$U=\left|\begin{array}{cccc}{d}_1& \ast & \cdots & \ast \\ 0& d_2& \cdots & \ast \\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & d_n\end{array}\right|$，则$|U|=d_1{d}_2\cdots d_n$。使用性质5，从最后一行开始，将对角元素上方的$\ast$元素依次变为零，可以得到型为$D=\left|\begin{array}{cccc}{d}_1& 0& \cdots & 0\\ 0& d_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & d_n\end{array}\right|$的对角行列式，再使用性质3将对角元素提出得到$d_n{d}_{n-1}\cdots d_1\left|\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right|$，得证。

8. 当矩阵$A$为奇异矩阵时，$|A|=0$；当且仅当$A$可逆时，有$|A|\ne 0$。如果矩阵可逆，则化简为上三角形式后各行都含有主元，行列式即为主元乘积；如果矩阵奇异，则化简为上三角形式时会出现全零行，行列式为零。

   再回顾二阶情况：$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|\stackrel{消元}{\to }\left|\begin{array}{cc}a& b\\ 0& d-\frac{c}{a}b\end{array}\right|=ad-bc$，前面的猜想得到证实。

9. $|AB|=|A||B|$。使用这一性质，$|E|=|A^{-1}A|=|A^{-1}||A|$，所以$|A^{-1}|=\frac{1}{|A|}$。

   同时还可以得到：$|A^k|=|A{|}^k$，以及$|kA|=k^n|A|$，当$n=3,k=2$时这个式子就像是求体积，对三维物体有每边翻倍则体积变为原来的八倍。

10. $|A^T|=|A|$，前面一直在关注行的属性给行列式带来的变化，有了这条性质，行的属性同样适用于列，比如对性质2就有“交换列行列式变号”。

    证明：$\left|A^T\right|=\left|A\right|\to \left|U^T{L}^T\right|=\left|LU\right|\to \left|U^T\right|\left|L^T\right|=\left|L\right|\left|U\right|$，值得注意的是，$L,U$的行列式并不因为转置而改变，得证。

11. $|A+B|=|(A+B{)}^T|=|(A^T+B^T)|$ （行列式中，$A$和$A^T$地位一样）

十九、行列式公式和代数余子式

上一讲中，我们从三个简单的性质扩展出了一些很好的推论，本讲将继续使用这三条基本性质：

1. $|E|=1$；
2. 交换行行列式变号；
3. 对行列式的每一行都可以单独使用线性运算，其值不变；

我们使用这三条性质推导二阶方阵行列式：

$$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& 0\\ c& d\end{array}\right|+\left|\begin{array}{cc}0& b\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& 0\\ c& 0\end{array}\right|+\left|\begin{array}{cc}a& 0\\ 0& d\end{array}\right|+\left|\begin{array}{cc}0& b\\ c& 0\end{array}\right|+\left|\begin{array}{cc}0& b\\ 0& d\end{array}\right|=ad-bc$$

按照这个方法，我们继续计算三阶方阵的行列式，可以想到，我们保持第二、三行不变，将第一行拆分为三个行列式之和，再将每一部分的第二行拆分为三部分，这样就得到九个行列式，再接着拆分这九个行列式的第三行，最终得到二十七个行列式。可以想象到，这些矩阵中有很多值为零的行列式，我们只需要找到不为零的行列式，求和即可。

$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=\left|\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& a_{22}& 0\\ 0& 0& a_{33}\end{array}\right|+\left|\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& 0& a_{23}\\ 0& a_{32}& 0\end{array}\right|+\left|\begin{array}{ccc}0& a_{12}& 0\\ a_{21}& 0& 0\\ 0& 0& a_{33}\end{array}\right|+\left|\begin{array}{ccc}0& a_{12}& 0\\ 0& 0& a_{23}\\ a_{31}& 0& 0\end{array}\right|+\left|\begin{array}{ccc}0& 0& a_{13}\\ a_{21}& 0& 0\\ 0& a_{32}& 0\end{array}\right|+\left|\begin{array}{ccc}0& 0& a_{13}\\ 0& a_{22}& 0\\ a_{31}& 0& 0\end{array}\right|$$

$$原式=a_{11}{a}_{22}{a}_{33}-a_{11}{a}_{23}{a}_{32}-a_{12}{a}_{21}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32}-a_{13}{a}_{22}{a}_{31}\text{\hspace{1em}(1)}$$

同理，我们想继续推导出阶数更高的式子，按照上面的式子可知$n$阶行列式应该可以分解成$n!$个非零行列式（占据第一行的元素有$n$种选择，占据第二行的元素有$n-1$种选择，以此类推得$n!$）：$$|A|=\sum _{n!}\pm a_{1\alpha }{a}_{2\beta }{a}_{3\gamma }\cdots a_{n\omega },(\alpha ,\beta ,\gamma ,\omega )$$

这个公式还不完全，接下来需要考虑如何确定符号（以列标号为顺序）：

$$\left|\begin{array}{cccc}0& 0& \overline{1}& \underline{1}\\ 0& \overline{1}& \underline{1}& 0\\ \overline{1}& \underline{1}& 0& 0\\ \underline{1}& 0& 0& \overline{1}\end{array}\right|$$

• 观察带有下划线的元素，它们的排列是$(4,3,2,1)$，变为$(1,2,3,4)$需要两次列交换，所以应取$+$；
• 观察带有上划线的元素，它们的排列是$(3,2,1,4)$，变为$(1,2,3,4)$需要一次列交换，所以应取$-$。
• 观察其他元素，我们无法找出除了上面两种以外的排列方式，于是该行列式值为零，这是一个奇异矩阵。

此处引入代数余子式（cofactor）的概念，它的作用是把$n$阶行列式化简为$n-1$阶行列式。

于是我们把$(1)$式改写为：

$$a_{11}(a_{22}{a}_{33}-a_{23}{a}_{32})+a_{12}(a_{21}{a}_{33}-a_{23}{a}_{31})+a_{13}(a_{21}{a}_{32}-a_{22}{a}_{31})$$

$$\left|\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& a_{22}& a_{23}\\ 0& a_{32}& a_{33}\end{array}\right|+\left|\begin{array}{ccc}0& a_{12}& 0\\ a_{21}& 0& a_{23}\\ a_{31}& 0& a_{33}\end{array}\right|+\left|\begin{array}{ccc}0& 0& a_{13}\\ a_{21}& a_{22}& 0\\ a_{31}& a_{32}& 0\end{array}\right|$$

于是，我们可以定义$a_{ij}$的代数余子式：将原行列式的第$i$行与第$j$列抹去后得到的$n-1$阶行列式记为$C_{ij}$，$i+j$为偶时时取$+$，$i+j$为奇时取$-$。

现在再来完善式子$(2)$：将行列式$A$沿第一行展开：

$$|A|=a_{11}{C}_{11}+a_{12}{C}_{12}+\cdots +a_{1n}{C}_{1n}$$

到现在为止，我们了解了三种求行列式的方法：

1. 消元，$|A|$就是主元的乘积；
2. 使用$(2)$式展开，求$n!$项之积；
3. 使用代数余子式。

计算例题：
$A_4=\left|\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 1& 0\\ 0& 1& 1& 1\\ 0& 0& 1& 1\end{array}\right|\stackrel{沿第一行展开}{=}\left|\begin{array}{ccc}1& 1& 0\\ 1& 1& 1\\ 0& 1& 1\end{array}\right|-\left|\begin{array}{ccc}1& 1& 0\\ 0& 1& 1\\ 0& 1& 1\end{array}\right|=-1-0=-1$

• 范德蒙德行列式

• 计算逆序数：
  

• 拉普拉斯定理

• 分块矩阵的行列式

• 特殊行列式计算

二十、克莱默法则、逆矩阵、体积

本讲主要介绍逆矩阵的应用。

1.求逆矩阵

我们从逆矩阵开始，对于二阶矩阵有${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}=\frac{1}{ad-bc}\left[\begin{array}{cc}d& -b\\ -c& a\end{array}\right]$。观察易得，系数项就是行列式的倒数，而矩阵则是由一系列代数余子式组成的。先给出公式：

$$A^{-1}=\frac{1}{|A|}{C}^T\text{\hspace{1em}(1)}$$

观察这个公式是如何运作的，化简公式得$A{C}^T=|A|E$，写成矩阵形式有$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]\left[\begin{array}{ccc}{C}_{11}& \cdots & C_{n1}\\ C_{12}& \cdots & C_{n2}\\ ⋮& \ddots & ⋮\\ C_{1n}& \cdots & C_{nn}\end{array}\right]=Res$

对于这两个矩阵的乘积，观察其结果的元素$Re{s}_{11}=a_{11}{C}_{11}+a_{12}{C}_{12}+\cdots +a_{1n}{C}_{1n}$，这正是上一讲提到的将行列式按第一行展开的结果。同理，对$Re{s}_{22},\cdots ,Re{s}_{nn}$都有$Re{s}_{ii}=|A|$，即对角线元素均为$|A|$。

再来看非对角线元素：回顾二阶的情况，如果用第一行乘以第二行的代数余子式$a_{11}{C}_{21}+a_{12}{C}_{22}$，得到$a(-b)+ab=0$。换一种角度看问题，$a(-b)+ab=0$也是一个矩阵的行列式值，即$A_s=\left[\begin{array}{cc}a& b\\ a& b\end{array}\right]$。将$|A{|}_s$按第二行展开，也会得到$|A{|}_s=a(-b)+ab$，因为行列式有两行相等所以行列式值为零。

推广到$n$阶，我们来看元素$Re{s}_{1n}=a_{11}{C}_{n1}+a_{12}{C}_{n2}+\cdots +a_{1n}{C}_{nn}$，该元素是第一行与最后一行的代数余子式相乘之积。这个式子也可以写成一个特殊矩阵的行列式，即矩阵$A_s=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n-a1}& a_{n-12}& \cdots & a_{n-1n}\\ a_{11}& a_{12}& \cdots & a_{1n}\end{array}\right]$。计算此矩阵的行列式，将$|A{|}_s$按最后一行展开，也得到$|A{|}_s=a_{11}{C}_{n1}+a_{12}{C}_{n2}+\cdots +a_{1n}{C}_{nn}$。同理，行列式$A_s$有两行相等，其值为零。

结合对角线元素与非对角线元素的结果，我们得到$Res=\left[\begin{array}{cccc}|A|& 0& \cdots & 0\\ 0& |A|& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & |A|\end{array}\right]$，也就是$(1)$等式右边的$(|A|)E$，得证。

$C^T$ 是伴随矩阵$A^{\ast }$，它与$A^{-1}$只有一个$|A|$常数区别

• $A^{\ast }A=A{A}^{\ast }=|A|E$
• $(kA{)}^{\ast }=k^{n-1}{A}^{\ast }$
• $(AB{)}^{\ast }=(AB{)}^{-1}|AB|=B^{-1}{A}^{-1}|A||B|=B^{\ast }{A}^{\ast }$
• $|A^{\ast }|=||A|A^{-1}|=|A{|}^n|A{|}^{-1}=|A{|}^{n-1}$
• $(A^{\ast }{)}^{\ast }=(|A|A^{-1}{)}^{\ast }=|A{|}^{n-1}(A^{-1}{)}^{\ast }=|A{|}^{n-1}(A^{\ast }{)}^{-1}=|A{|}^{n-1}(|A|A^{-1}{)}^{-1}=|A{|}^{n-2}A$
• $(A^{-1}{)}^T=(A^T{)}^{-1}$
• $(A^{-1}{)}^{\ast }=(A^{\ast }{)}^{-1}$
• $(A^{\ast }{)}^T=(A^T{)}^{\ast }$

2.求解$Ax=b$

因为我们现在有了逆矩阵的计算公式，所以对$Ax=b$有$x=A^{-1}b=\frac{1}{|A|}{C}^{T}b$，这就是计算$x$的公式，即克莱默法则（Cramer’s rule）。

现在来观察$x=\frac{1}{|A|}{C}^{T}b$，我们将得到的解拆分开来，对$x$的第一个分量有$x_1=\frac{y_1}{|A|}$，这里$y_1$是一个数字，其值为$y_1=b_1{C}_{11}+b_2{C}_{21}+\cdots +b_n{C}_{n1}$，每当我们看到数字与代数余子式乘之积求和时，都应该联想到求行列式，也就是说$y_1$可以看做是一个矩阵的行列式，我们设这个矩阵为$B_1$。所以有$x_i=\frac{|B_1|}{|A|}$，同理有$x_2=\frac{|B_2|}{|A|}$，$x_2=\frac{|B_2|}{|A|}$。

而$B_1$是一个型为$[b{a}_2{a}_3\cdots a_n]$的矩阵，即将矩阵$A$的第一列变为$b$向量而得到的新矩阵。其实很容易看出，$|B_1|$可以沿第一列展开得到$y_1=b_1{C}_{11}+b_2{C}_{21}+\cdots +b_n{C}_{n1}$。

一般的，有$B_j=[a_1{a}_2\cdots a_{j-1}b{a}_{j+1}\cdots a_n]$，即将矩阵$A$的第$j$列变为$b$向量而得到的新矩阵。所以，对于解的分量有$x_j=\frac{|B_j|}{|A|}$。

这个公式虽然很漂亮，但是并不方便计算。

3.关于体积（Volume）

先提出命题：行列式的绝对值等于一个箱子的体积。

来看三维空间中的情形，对于$3$阶方阵$A$，取第一行$(a_1,a_2,a_3)$，令其为三维空间中点$A_1$的坐标，同理有点$A_2,A_3$。连接这三个点与原点可以得到三条边，使用这三条边展开得到一个平行六面体，$|A|$的绝对值就是该平行六面体的体积。

对于三阶单位矩阵，其体积为$|E|=1$，此时这个箱子是一个单位立方体。这其实也证明了前面学过的行列式性质1。于是我们想，如果能接着证明性质2、3即可证明体积与行列式的关系。

对于行列式性质2，我们交换两行并不会改变箱子的大小，同时行列式的绝对值也没有改变，得证。

现在我们取矩阵$A=Q$，而$Q$是一个正交矩阵，此时这个箱子是一个立方体，可以看出其实这个箱子就是刚才的单位立方体经过旋转得到的。对于标准正交矩阵，有$Q^{T}Q=E$，等式两边取行列式得$|Q^{T}Q|=1=\left|Q^T\right|\left|Q\right|$，而根据行列式性质10有$\left|Q^T\right|=\left|Q\right|$，所以$原式={\left|Q\right|}^2=1,\left|Q\right|=\pm 1$。

接下来在考虑不再是“单位”的立方体，即长方体。 假设$Q$矩阵的第一行翻倍得到新矩阵$Q_2$，此时箱子变为在第一行方向上增加一倍的长方体箱子，也就是两个“正交箱子”在第一行方向上的堆叠。易知这个长方体箱子是原来体积的两倍，而根据行列式性质3.a有$|Q_2|=|Q|$，于是体积也符合行列式的数乘性质。

我们来看二阶方阵的情形，$\left|\begin{array}{cc}a+a^{\prime }& b+b^{\prime }\\ c& d\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}{a}^{\prime }& b^{\prime }\\ c& d\end{array}\right|$。在二阶情况中，行列式就是一个求平行四边形面积的公式，原来我们求由四个点$(0,0),(a,b),(c,d),(a+c,b+d)$围成的四边形的面积，需要先求四边形的底边长，再做高求解，现在只需要计算$|A|=ad-bc$即可（更加常用的是求由$(0,0),(a,b),(c,d)$围成的三角形的面积，即$\frac{1}{2}(ad-bc)$。也就是说，如果知道了歪箱子的顶点坐标，求面积（二阶情形）或体积（三阶情形）时，我们不再需要开方、求角度，只需要计算行列式的值就行了。

再多说两句我们通过好几讲得到的这个公式，在一般情形下，由点$(x_1,y_1),(x_2,y_2),(x_3,y_3)$围成的三角形面积等于$\frac{1}{2}\left|\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ x_3& y_3& 1\end{array}\right|$，计算时分别用第二行、第三行减去第一行化简到第三列只有一个$1$（这个操作实际作用是将三角形移动到原点），得到$\frac{1}{2}\left|\begin{array}{ccc}{x}_1& y_1& 1\\ x_2-x_1& y_2-y_1& 0\\ x_3-x_1& y_3-y_1& 0\end{array}\right|$，再按照第三列展开，得到三角形面积等于$\frac{(x_2-x_1)(y_3-y_1)-(x_3-x_1)(y_2-y_1)}{2}$。