机器学习的数学基础（二、线性代数）（阅读笔记------3.矩阵的初等变换与线性方程组）

机器学习的数学基础-（二、线性代数）
原文链接：https://zhuanlan.zhihu.com/p/36584206

推荐 同济大学数学系编写的《工程数学------线性代数》第六版
出版社:高等教育出版社 出版时间:2014年06月
稳居当当教科书畅销书单前列。

3. 矩阵的初等变换与线性方程组

3.1. 矩阵的初等变换

把方程组的三种同解变换移植到矩阵上，就得到矩阵的三种初等行变换。
下面三种变换称为矩阵的初等行变换：
$$\begin{array}{rl}& (i)对换两行（对换i，j两行，记作r_i\leftrightarrow r_j）；\\ & (ii)以数k\ne 0乘某一行中的所有元（第i行乘k，记作r_i\times k）；\\ & (iii)把某一行所有元素的k倍加到另一行对应的元上去（第j行的k倍加到第i行上，记作r_i+k{r}_j）；\end{array}$$

把定义中的“行”换成“列”，即得到矩阵的初等列变换的定义（所用记号是把“r”换成“c”）。
矩阵的初等行变换和初等列变换统称初等变换。
如果矩阵$\mathbf{A}$经有限次初等行变换变成矩阵$\mathbf{B}$，就称矩阵$\mathbf{A}$与$\mathbf{B}$行等价，记作$\mathbf{A}\stackrel{r}{\sim }\mathbf{B}$。
如果矩阵$\mathbf{A}$经有限次初等列变换变成矩阵$\mathbf{B}$，就称矩阵$\mathbf{A}$与$\mathbf{B}$列等价，记作$\mathbf{A}\stackrel{c}{\sim }\mathbf{B}$。
如果矩阵$\mathbf{A}$经有限次初等变换变成矩阵$\mathbf{B}$，就称矩阵$\mathbf{A}$与$\mathbf{B}$等价，记作$\mathbf{A}\sim \mathbf{B}$。

非零矩阵若满足
(i)非零行在零行的上面；
(ii)非零行的首非零元素所在列在上一行（如果存在的话）的首非零元素所在列的右面，
则称此矩阵为行阶梯形矩阵。
进一步，若$\mathbf{A}$是行阶梯形矩阵，并且还满足：
(i)非零行的首非零元为1；
(ii)首非零元所在列的其他元均为0，
则称$\mathbf{A}$为行最简形矩阵。
由行最简形矩阵可以写出方程组的解；反之，由方程组的解也可以写出最简形矩阵。
一个矩阵的行最简形矩阵是唯一确定的。
对于行最简形矩阵再施以初等列变换，可变成一种形状更简单的矩阵，称为标准形，其特点是：左上角是一个单位阵，其余元全为0。
由单位阵经过一次初等变换得到的矩阵称为初等矩阵。
性质1 设$\mathbf{A}$是一个$m\times n$矩阵，
对$\mathbf{A}$施行一次初等行变换，相当于在$\mathbf{A}$的左边乘相应的m阶初等矩阵；
对$\mathbf{A}$施行一次初等列变换，相当于在$\mathbf{A}$的右边乘相应的m阶初等矩阵。
性质2 方阵对$\mathbf{A}$可逆的充分必要条件是存在有限个初等矩阵${\mathbf{P}}_1,{\mathbf{P}}_2,...,{\mathbf{P}}_l$，使$\mathbf{A}={\mathbf{P}}_1{\mathbf{P}}_2...{\mathbf{P}}_l$。
推论 方阵$\mathbf{A}$可逆的充分必要条件是$\mathbf{A}\stackrel{r}{\sim }\mathbf{E}$。
定理1 设$\mathbf{A}$与$\mathbf{B}$为$m\times n$矩阵，那么
(i) $\mathbf{A}\stackrel{r}{\sim }\mathbf{B}$的充分必要条件是存在m阶可逆矩阵$\mathbf{P}$，使$\mathbf{P}\mathbf{A}=\mathbf{B}$；
(ii) $\mathbf{A}\stackrel{c}{\sim }\mathbf{B}$的充分必要条件是存在n阶可逆矩阵$\mathbf{Q}$，使$\mathbf{A}\mathbf{Q}=\mathbf{B}$；
(iii) $\mathbf{A}\sim \mathbf{B}$的充分必要条件是存在m阶可逆矩阵$\mathbf{P}$及n阶可逆矩阵$\mathbf{Q}$，使$\mathbf{P}\mathbf{A}\mathbf{Q}=\mathbf{B}$。
如果 $\mathbf{A}\stackrel{r}{\sim }\mathbf{B}$，即$\mathbf{A}$经一系列初等行变换变为$\mathbf{B}$，则有可逆矩阵$\mathbf{P}$，使$\mathbf{P}\mathbf{A}=\mathbf{B}$。
那么如何去求出这个可逆矩阵$\mathbf{P}$？
由于$\mathbf{P}\mathbf{A}=\mathbf{B}\iff \{\begin{array}{c}\mathbf{P}\mathbf{A}=\mathbf{B}\\ \mathbf{P}\mathbf{E}=\mathbf{P}\end{array}\iff \mathbf{P}(\mathbf{A}，\mathbf{E}）=(\mathbf{B}，\mathbf{P}）\iff （\mathbf{A}，\mathbf{E}）\stackrel{r}{\sim }（\mathbf{B}，\mathbf{P}）$，因此，如果对矩阵$（\mathbf{A}，\mathbf{E}）$作初等行变换，那么，当把$\mathbf{A}$变为$\mathbf{B}$时，$\mathbf{E}$就变成了$\mathbf{P}$。于是就得到所球的可逆矩阵$\mathbf{P}$。
因此我们可以得到求解方程$\mathbf{A}\mathbf{X}=\mathbf{B}$的一个新方法。这个方法就是把方程的增广矩$(\mathbf{A},\mathbf{B})$阵化为行最简形矩阵。
总结求解线性方程组$\mathbf{A}\mathbf{X}=\mathbf{b}$的三种方法
方法一：采用逆矩阵求解；
方法二：采用克拉默法则求解；
方法一：采用本节介绍的新方法求解，即把增广矩阵$(\mathbf{A},\mathbf{b})$化为行最简形矩阵，其最后一列就是解向量。

2.2 矩阵的秩

引理 设 $\mathbf{A}\stackrel{r}{\sim }\mathbf{B}$，则与中非零子式的最高阶数相等。
定义 设在矩阵$\mathbf{A}$中有一个不等于0的r阶子式$\mathbf{D}$，且所有r+1阶子式（如果存在的话）全等于0，那么称$\mathbf{D}$为矩阵的最高阶非零子式，数r称为矩阵$\mathbf{A}$的秩，记作$R(\mathbf{A})$。并规定零矩阵的秩等于0。
可逆矩阵的秩等于矩阵的阶数，不可逆矩阵的秩小于矩阵的阶数。因此，可逆矩阵又称作满秩矩阵，不可逆矩阵（奇异矩阵）又称作降秩矩阵。
定理2 若$\mathbf{A}\sim \mathbf{B}$，则$R(\mathbf{A})=R(\mathbf{B})$。
推论 若可逆矩阵$\mathbf{P}、\mathbf{Q}$使$\mathbf{P}\mathbf{A}\mathbf{Q}=\mathbf{B}$，则$R(\mathbf{A})=R(\mathbf{B})$。
矩阵秩有如下性质
( 1 ) 0 ≤ R ( A m × n ) ≤ m i n { m , n } ； ( 2 ) R ( A T ) = R ( A ) ； ( 3 ) 若 A ∼ B ， 则 R ( A ) = R ( B ) ； ( 4 ) 若 P 、 Q 可 逆 ， 则 R ( P A Q ) = R ( B ) ； ( 5 ) m a x { R ( A ) , R ( B ) } ≤ R ( A , B ) ≤ R ( A ) + R ( B ) ； ( 6 ) R ( A + B ) ≤ R ( A ) + R ( B ) ； ( 7 ) R ( A B ) ≤ m i n { R ( A ) , R ( B ) } ； ( 8 ) 若 A m × n B n × l = O ， 则 R ( A ) + R ( B ) ≤ n ； \begin{aligned} &(1) 0\leq R(\boldsymbol A_{m\times n})\leq min\{m,n\}； \\ &(2) R(\boldsymbol A^T)=R(\boldsymbol A) ；\\ &(3)若\boldsymbol A\overset{}{\sim} \boldsymbol B，则 R(\boldsymbol A)=R(\boldsymbol B) ；\\ &(4)若\boldsymbol P、\boldsymbol Q可逆，则 R(\boldsymbol {PAQ})=R(\boldsymbol B) ；\\ &(5) max\{ R(\boldsymbol A),R(\boldsymbol B)\} \leq R(\boldsymbol A,\boldsymbol B)\leq R(\boldsymbol A)+R(\boldsymbol B) ；\\ &(6) R(\boldsymbol A+\boldsymbol B)\leq R(\boldsymbol A)+R(\boldsymbol B) ；\\ &(7) R(\boldsymbol A \boldsymbol B) \leq min\{R(\boldsymbol A),R(\boldsymbol B)\} ；\\ &(8) 若\boldsymbol A_{m\times n}\boldsymbol B_{n\times l} =\boldsymbol O，则R(\boldsymbol A)+R(\boldsymbol B) \leq n ；\\ \end {aligned} ​(1)0≤R(Am×n​)≤min{m,n}；(2)R(AT)=R(A)；(3)若A∼B，则R(A)=R(B)；(4)若P、Q可逆，则R(PAQ)=R(B)；(5)max{R(A),R(B)}≤R(A,B)≤R(A)+R(B)；(6)R(A+B)≤R(A)+R(B)；(7)R(AB)≤min{R(A),R(B)}；(8)若Am×n​Bn×l​=O，则R(A)+R(B)≤n；​

另外若${\mathbf{A}}_{m\times n}{\mathbf{B}}_{n\times l}=\mathbf{C}$，且$R(\mathbf{A})=n$，则$R(\mathbf{B})=R(\mathbf{C})$。
如果矩阵$\mathbf{A}$的秩等于它的列数，这样的矩阵称为列满秩矩阵。
设$\mathbf{A}\mathbf{B}=\mathbf{O}$，若$\mathbf{A}$ 为列满秩矩阵，则$R(\mathbf{B})=0，即\mathbf{B}=\mathbf{O}$。这一结论通常称为矩阵乘法的消去律。

3.3. 线性方程组的解

定理3 n元线性方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$
(i)无解的充分必要条件是$R(\mathbf{A})\le R(\mathbf{A},\mathbf{b})$；
(ii)有唯一解的充分必要条件是$R(\mathbf{A})=R(\mathbf{A},\mathbf{b})=n$；
(i)有无限多解的充分必要条件是$R(\mathbf{A})=R(\mathbf{A},\mathbf{b})<n$；
定理4 n元齐次现行方程组$\mathbf{A}\mathbf{x}=0$有非零解的充分必要条件是$R(\mathbf{A})\le n$。
定理5 线性方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$有解的充分必要条件是$R(\mathbf{A})=R(\mathbf{A}，\mathbf{b})$。
定理6 矩阵方程$\mathbf{A}\mathbf{x}=\mathbf{B}$有解的充分必要条件是$R(\mathbf{A})=R(\mathbf{A}，\mathbf{B})$。
定理7 设$\mathbf{A}\mathbf{B}=\mathbf{C}$，则 R ( C ) ≤ m i n { R ( A ) ， R ( B ) } R(\boldsymbol C) \leq min\{R(\boldsymbol A)，R(\boldsymbol B)\} R(C)≤min{R(A)，R(B)}。