线性代数初探（行列式，矩阵初等变换，矩阵的秩）

• 引言：边听网课边看线性代数，爽！
  线代太好玩了，鉴于博主的老年记忆，赶紧记录下来
  本文主要介绍行列式的一些性质与应用，还有矩阵的一些运算
  大概是《线性代数》的精简版外加一些自己的理解

• 行列式的定义：
  令 $p$ 为 $1,2,...,n$ 的一个排列，排列中的逆序对个数为 $t$，那么行列式为
  $$\sum (-1{)}^t{a}_{i,p_1}{a}_{2,p_2}...a_{n,p_n}$$
  引理1：交换排列中的任意两个数 $p_i,p_j$，逆序对个数奇偶性改变
  证明：相邻的时候显然会改变，不相邻的时候假设中间有 $m$ 个数，需要用 $m$ 次换过去再用 $m-1$ 次换回来，得证。

• 行列式的性质：
  记
  $$D=\left|\begin{array}{cccc}{a}_{1,1}& a_{1,2}& ...& a_{1,n}\\ a_{2,1}& a_{2,2}& ...& a_{2,n}\\ ...& ...& ...& ...\\ a_{n,1}& a_{n,2}& ...& a_{n,n}\end{array}\right|,D^T=\left|\begin{array}{cccc}{a}_{1,1}& a_{2,1}& ...& a_{n,1}\\ a_{1,2}& a_{2,2}& ...& a_{n,2}\\ ...& ...& ...& ...\\ a_{1,n}& a_{2,n}& ...& a_{n,n}\end{array}\right|$$
  其中 $D^T$ 为 行列式$D$ 的转置行列式。

• 性质1：$D^T=D$。
  对于 $D$ 中的任意一项，$(-1{)}^t{a}_{1,p_1}{a}_{2,p_2}...a_{i,p_i}...a_{j,p_j}...a_{n,p_n}$，交换 $a_{i,p_i},a_{j,p_j}$，意义是行标排列和列标排列做了一次相应的对换，注意到这个过程并不改变奇偶性，于是我们可以找到 $D^T$ 中的唯一一项 $(-1{)}^{t^{\prime }}{a}_{q_1,1}{a}_{q_2,2}...a_{q_n,n}$ 与之相等，只需要考虑每次把第 $i$ 换到第 $q_i$ 项即可。

• 性质2：对换行列式中的两行或两列，行列式变号。
  考虑某一项 $(-1{)}^t{a}_{1,p_1}{a}_{2,p_2}...a_{i,p_i}...a_{j,p_j}...a_{n,p_n}$，变成 $(-1{)}^{t^{\prime }}{a}_{1,p_1}{a}_{2,p_2}...a_{i,p_j}...a_{j,p_i}...a_{n,p_n}$ 逆序对个数改变奇偶性于是 $(-1{)}^{t^{\prime }}=-(-1{)}^t$，得证。
  推论：两行或两列相同行列式为 0

• 性质3：行列式中某一行或一列乘上一个数 $k$ 的行列式等于用 $k$ 乘上这个行列式

• 性质4：若行列式的某一行或列都是两数的和，那么可以拆成两个行列式的和
  推论：把某一行或列的每个元素乘上 $k$ 加到令一行行列式不变

• 行列式按行（列）展开
  在 $n$ 阶行列式中，把 $(i,j)$ 元 $a_{i,j}$ 的第 $i$ 行和第 $j$ 列划去留下的 $n-1$ 阶行列式叫做 $(i,j)$元 $a_{i,j}$ 的余子式，记为 $M_{i,j}$，记 $A_{i,j}=(-1{)}^{i+j}{M}_{i,j}$，叫做 $(i,j)$元 $a_{i,j}$ 的代数余子式

• 引理：如果第 $i$ 行元素除了 $a_{i,j}$ 外都为 0 ，那么 $D=a_{i,j}{A}_{i,j}$
  当 $i=j=1$ 时显然成立，否则我们交换 $i-1$ 次换到第一行，交换 $j-1$ 次换到第一列
  定理：行列式等于它任一行（一列）的各元素对应的代数余子式乘积之和
  $$D=\sum _{j=1}^n{a}_{i,j}{A}_{i,j}$$

• 简介：范德蒙得行列式
  $$D_n=\left|\begin{array}{cccc}1& 1& ...& 1\\ x_1& x_2& ...& x_n\\ ...& ...& ...& ...\\ x_1^n& x_2^n& ...& x_n^n\end{array}\right|=\prod _{n\ge i>j\ge 1}(x_i-x_j)$$
  证明：数学归纳法，当 $n=2$ 时
  $$D_2=\left|\begin{array}{cc}1& 1\\ x_1& x_2\end{array}\right|=x_2-x_1$$
  假设其对 $n-1$ 阶行列式成立，要证其对 $n$ 阶成立，我们需要把 $n$ 将阶（展开）
  从最后一行开始减掉上一行的 $x_1$ 倍
  $$D_n=\left|\begin{array}{cccc}1& 1& ...& 1\\ 0& x_2-x_1& ...& x_n-x_1\\ ...& ...& ...& ...\\ 0& x_2^{n-2}(x_2-x_1)& ...& x_n^{n-2}(x_n-x_1)\end{array}\right|=\prod _{i=2}^n(x_i-x_1)\left|\begin{array}{ccc}1& ...& 1\\ ...& ...& ...\\ x_2^{n-2}& ...& x_n^{n-2}\end{array}\right|$$

• 若要计算 $b_1{A}_{i,1}+b_2\ast A_{i,2}+...+b_n\ast A_{i,n}$ 那么我们可以把第 $i$ 行换成 $b$ 向量算行列式
  正确性显然，这就引发一个推论：当 $b$ 取行列式某一行 $a_j$ 时
  $$\sum _{k=1}^n{a}_{j,k}\ast A_{i,k}=\{\begin{array}{ll}0& i\ne j\\ D& i=j\end{array}$$

• 这就引出了矩阵中一个特别巧妙的东西 ---- 伴随矩阵
  行列式 $|A|$ 的各个元素的代数余子式 $A_{i,j}$ 构成如下矩阵
  $$A^{\ast }=\left|\begin{array}{cccc}{A}_{1,1}& A_{2,1}& ...& A_{n,1}\\ A_{1,2}& A_{2,2}& ...& A_{n,2}\\ ...& ...& ...& ...\\ x_{1,n}& A_{2,n}& ...& A_{n,n}\end{array}\right|$$
  称为 $A$ 的伴随矩阵，那么根据之前的结论有：
  $$A\ast A^{\ast }=|A|\ast E$$

• 矩阵求逆：
  引理：$|AB|=|A|\ast |B|$ 指矩阵 $A$ 乘矩阵 $B$ 的行列式等于分别的行列式的乘积，证明 $n=2$ 的情况：
  设 $A=(a_{i,j}),B=(b_{i,j})$，构造一个四阶行列式：
  $$D=\left|\begin{array}{cccc}{a}_{1,1}& a_{1,2}& 0& 0\\ a_{2,1}& a_{2,2}& 0& 0\\ -1& 0& b_{1,1}& b_{1,2}\\ 0& -1& b_{2,1}& b_{2,2}\end{array}\right|=\left|\begin{array}{cc}A& O\\ -E& B\end{array}\right|$$
  对于一个 $n$ 阶矩阵，如果有一个 $n$ 阶矩阵 $B$，使 $AB=BA=E$ 则称矩阵 $A$ 是可逆的，并把 $B$ 称为 $A$ 的逆矩阵，骚气变换：
  设 $A=(a_{i,j}),B=(b_{i,j})$，构造一个四阶行列式：
  $$D=\left|\begin{array}{cccc}{a}_{1,1}& a_{1,2}& 0& 0\\ a_{2,1}& a_{2,2}& 0& 0\\ -1& 0& b_{1,1}& b_{1,2}\\ 0& -1& b_{2,1}& b_{2,2}\end{array}\right|=\left|\begin{array}{cccc}{a}_{1,1}& a_{1,2}& a_{1,1}{b}_{1,1}+a_{1,2}{b}_{2,1}& a_{1,1}{b}_{1,2}+a_{1,2}{b}_{2,2}\\ a_{2,1}& a_{2,2}& a_{2,1}\ast b_{1,1}+a_{2,2}\ast b_{2,1}& a_{2,1}{b}_{1,2}+a_{2,2}\ast b_{2,2}\\ -1& 0& 0& 0\\ 0& -1& 0& 0\end{array}\right|$$
  $$=\left|\begin{array}{cc}A& A\ast B\\ -E& O\end{array}\right|==\left|\begin{array}{cc}-E& O\\ A& A\ast B\end{array}\right|=A\ast B$$

定理1：若矩阵 $A$ 可逆，则 $|A|\ne 0$
证明：存在 $A^{-1}$ 使得 $A{A}^{-1}=E$，故 $|A{A}^{-1}|=|A|\ast |A^{-1}|=|E|=1$ 所以 $|A|\ne 0$
定理2：若 $|A|\ne 0$，则矩阵可逆，且 $A^{-1}=\frac{1}{|A|}\ast A^{\ast }$，妙妙妙！

• 克拉默法则
  解线性方程组
  $\left(\begin{array}{cccc}{a}_{1,1}& a_{1,2}& ...& a_{1,n}\\ a_{2,1}& a_{2,2}& ....& a_{2,n}\\ ...& ...& ...& ...\\ a_{n,1}& a_{n,2}& ...& a_{n,n}\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right)=\left(\begin{array}{c}{b}_1\\ b_2\\ ...\\ b_n\end{array}\right)$
  记为 $AX=B$
  克拉默法则：如果 $|A|\ne 0$，那么方程组有唯一解
  发现 $X=A^{-1}B=\frac{A^{\ast }}{|A|}\ast B$，注意到
  $$x_j=\frac{1}{|A|}\ast (b_1\ast A_{1,j}+b_2\ast A_{2,j}+...+b_n{A}_{n,j})=\frac{|A_j|}{|A|}$$
  其中 $A_j$ 为将矩阵的第 $j$ 列换为 $B$ 的矩阵 ，$A_{i,j}$ 为代数余子式

矩阵初等变换与矩阵求逆看这里

• 矩阵的秩
  定义：在 $n\times m$ 的矩阵 $A$ 中，任取 $k$ 行 $k$ 列不改变次序算出行列式称为矩阵 $A$ 的 $k$ 阶子式。
  引理：设 $A\sim B$，则 $A$ 与 $B$ 中的非零子式的最高阶数相等。
  我们只需证明经过一次初等行变换得到的 $B$，在交换两行或将一行乘 $k\ne 0$ 时，总能找到与$D$对应的 $r$ 阶子式使得 $D_1=D,D_1=-D,D_1=kD$
  当一行加上另一行的 $k\ne 0$ 倍时，只需考虑 $r_1+k{r}_2$ 的特殊情况：
  当 $D$ 不包含第一行， 那么不影响，若包涵第一行
  $$D_1=\left|\begin{array}{c}{r}_1+k{r}_2\\ r_p\\ ...\\ r_q\end{array}\right|=\left|\begin{array}{c}{r}_1\\ r_p\\ ...\\ r_q\end{array}\right|+k\ast \left|\begin{array}{c}{r}_2\\ r_p\\ ...\\ r_q\end{array}\right|=D+k\ast D_2$$
  若 $p=2$ 则 $D_2=0$，否则 $D=D_1-k\ast D_2\ne 0$，$D_1,D_2$ 不同为 0
  挺妙的
  注意这个并没有关系非0子式，而只是关心它的阶数，于是我们定义矩阵的秩：
  设在矩阵$A$中有一个不等于0的 $r$ 阶子式 $D$，且所有 $r+1$ 阶（若存在）子式均为 0，那么 $r$ 称为矩阵的秩，记做 $R(A)$
  那么有一些性质：
  0 ≤ R ( A ) ≤ m i n { n , m } 0\le R(A)\le min\{n,m\} 0≤R(A)≤min{n,m}
  $R(A^{\text{T}})=R(A)$
  若 $A\sim B$，则 $R(A)=R(B)$
  m a x { R ( A ) , R ( B ) } ≤ R ( A , B ) ≤ R ( A ) + R ( B ) max\{R(A),R(B)\}\le R(A,B)\le R(A)+R(B) max{R(A),R(B)}≤R(A,B)≤R(A)+R(B)
  $R(A+B)\le R(A)+R(B)$，证明：
  $\left(\begin{array}{c}A+B\\ B\end{array}\right)\sim \left(\begin{array}{c}A\\ B\end{array}\right)$
  故 $R(A+B)\le R\left(\begin{array}{c}A+B\\ B\end{array}\right)=R\left(\begin{array}{c}A\\ B\end{array}\right)=R(A^T,B^T{)}^T=\le R(A^T)+R(B^T)=R(A)+R(B)$

• 当矩阵的秩与线性方程组联系在一起就厉害得不行
  对于 $n$ 元线性方程组 $Ax=b$
  (1) 无解的充分必要条件是 $R(A)<R(A,b)$
  (2) 有唯一解的充分必要条件是 $R(A)=R(A,b)=n$
  (3) 有无限多解的充分必要条件是 $R(A)=R(A,b)<n$
  证明略且较为显然。

• 定理：矩阵方程 $AX=B$ 有解的充分必要条件是 $R(A)=R(A,B)$
  证明：设 $A$ 为 $m\times n$ 矩阵，$B$ 为 $m\times l$ 矩阵，则 $X$ 为 $n\times l$ 矩阵，将 $X,B$ 按列分块，记为：
  $$X=(x_1,x_2,...,x_l),B=(b_1,b_2,...,b_l)$$
  则矩阵方程 $AX=B$ 等价于 $l$ 个向量方程
  $$A{x}_i=b_i(i=1,2,...,l)$$
  如果 $R(A)=r$，那么 ${\tilde{b}}_i$ 的后 $m-r$ 行为 0，那么容易发现当有解时 $B$ 的后 $m-r$ 行一定为 0，故 $R(A,B)=r=R(A)$

• 定理： R ( A B ) ≤ m i n { R ( A ) , R ( B ) } R(AB)\le min\{R(A),R(B)\} R(AB)≤min{R(A),R(B)}
  即矩阵方程 $AX=C$ 有解 $X=B$，于是有 $R(C)\le R(A,C)=R(A)$
  同理有 $R(C^T)\le R(B^T)$，故 R ( A B ) ≤ m i n { R ( A ) , R ( B ) } R(AB)\le min\{R(A),R(B)\} R(AB)≤min{R(A),R(B)}

• 向量內积·
  记做 $[\vec{x},\vec{y}]={\sum }_i{x}_i{y}_i$，向量正交定义为 $[\vec{x},\vec{y}]=0$
  定理：若 $n$ 维向量 $a_1,a_2,\cdots ,a_r$ 是一组两两正交的向量，则 $a_1,a_2,\cdots ,a_n$ 线性无关
  证明：设有 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$ 使
  $${\lambda }_1{a}_1+{\lambda }_2{a}_2+\cdots +{\lambda }_r{a}_r=0$$
  将 $a_1$ 与上式两端作內积，故有 ${\lambda }_1[a_1,a_1]=0\Rightarrow {\lambda }_1=0$，故 ${\lambda }_i=0$，$a_1,a_2,\cdots ,a_r$ 线性无关

• 向量正交化
  这个构造个人觉得很巧妙，我们现在需要将 $a_1,a_2,\cdots ,a_r$ 正交化为 $b_1,b_2,\cdots ,b_r$
  那么我们构造出一组 $b$ 使得 $\forall i\ne j\in [1,r-1],[a_i,a_j]=0$，然后构造 $b_r$ 满足与前 $r-1$ 项內积为 0，那么有：
  $$\begin{gathered} b_1=a_1 \\ {b}_2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1 \\ ⋮ \\ {b}_r=a_r-\frac{[b_1,a_r]}{[b_1,b_1]}{b}_1-\frac{[b_2,a_r]}{[b_2,b_2]}{b}_2-\cdots -\frac{[b_{r-1},a_r]}{[b_{r-1},b_{r-1}]}{b}_{r-1} \end{gathered}$$
  把 $b_i$ 变成单位长度就可以得到标准正交基
  定义：正交矩阵
  若 $A$ 满足 $A^{\text{T}}A=E$，则 $A$ 为正交矩阵，同时有 $A^{-1}=A^{\text{T}}$

特征多项式的一套理论可以看这里 here

• 相似矩阵：
  定义：设 $A,B$ 均为 $n$ 阶矩阵，若有可逆矩阵 $P$ 使 $P^{-1}AP=B$ ，则成 $B$ 是 $A$ 的相似矩阵
  定理：若 $n$ 阶矩阵 $A,B$ 相似，则 $A$ 与 $B$ 的特征多项式相同
  $$\begin{gathered} |B-\lambda E|=|P^{-1}AP-P^{-1}(\lambda E)P|= \\ |P^{-1}(A-\lambda E)P|=|P^{-1}||A-\lambda E||P|=|A-\lambda E| \end{gathered}$$
  我们发现，$A$ 是可以与如下矩阵相似的
  $$\Lambda =\left(\begin{array}{ccccc}{\lambda }_1& & & & \\ & {\lambda }_2& & & \\ & & \ddots & & \\ & & & & {\lambda }_n\end{array}\right)$$
  其中 ${\lambda }_i$ 为矩阵的特征值
  如果我们要求 $A^n$ 或是 $\phi (A)$，这个等价于 $(P\Lambda P^{-1}{)}^n=P{\Lambda }^n{P}^{-1}$
  如何找到 $P$ 满足 $P^{-1}AP=\Lambda$ 为对角矩阵？
  我们有 $AP=P\Lambda$
  发现 $A{p}_i={\lambda }_i{p}_i$ 即 $p_i$ 特征值 ${\lambda }_i$ 对应的特征向量