#机器学习--线性代数基础--第二章：矩阵及其运算

1、矩阵的定义

        由 $m\times n$ 个数 $a_{ij}$ 排成的 $m$ 行 $n$ 列的数表称为 $m$ 行 $n$ 列矩阵，简称 $m\times n$ 矩阵。

---

2、常用矩阵

        1）若行数与列数都等于 $n$ 的矩阵称为 $n$ 阶矩阵或 $n$ 阶方阵。

        2）只有一行的矩阵称为行矩阵或行向量，只有一列的矩阵称为列矩阵或列向量。

        3）若两个矩阵的行数相等、列数也相等时，就称它们是同型矩阵。

        4）元素都是 0 的矩阵称为零矩阵，记为 $O$ 。

        5）若 $n$ 阶方阵除对角线外的元素都是0，则称这种方阵为对角矩阵。特殊的，如果对角矩阵的对角线元素都是1，则称为单位矩阵，简称单位阵，记为 $E$ 。

        6）对于常数项不全为 0 的 $n$ 元非齐次线性方程组：
$$\{\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \dots \\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m\end{array}$$        有如下常用矩阵:
$$\text{A}=(a_{ij}),\text{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right),\text{b}=\left(\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_m\end{array}\right),\text{B}=\left(\begin{array}{ccccc}{a}_{11}& a_{12}& \dots & a_{1n}& b_1\\ a_{21}& a_{22}& \dots & a_{2n}& b_2\\ ⋮& ⋮& & ⋮& ⋮\\ a_{m1}& a_{m2}& \dots & a_{mn}& b_m\end{array}\right)$$        其中 $\text{A}$ 称为系数矩阵， $\text{x}$ 称为未知数矩阵， $\text{b}$ 称为常数项矩阵， $\text{B}$ 称为增广矩阵。

        7）$n$ 个变量 $x_1,x_2,\dots ,x_n$ 与 $m$ 个变量 $y_1,y_2,\dots ,y_m$ 之间的关系式：
$$\{\begin{array}{c}{y}_1=a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n,\\ y_2=a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n,\\ \dots \\ y_m=a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n\end{array}$$        表示一个从变量 $x_1,x_2,\dots ,x_n$ 到变量 $y_1,y_2,\dots ,y_m$ 的线性变换。由系数 $a_{ij}$ 构成的矩阵 $A=(a_{ij}{)}_{m\times n}$ 称为系数矩阵。

---

3、矩阵运算

        1）矩阵加减法：只有同型矩阵才能相加减，若 $C_{mn}=A_{mn}\pm B_{mn}$，则 $c_{ij}=a_{ij}\pm b_{ij}$ ，其中 $a_{ij}$ 表示矩阵 $A$ 中元素，其余类似，下同。

        2）数与矩阵相乘：令 $C=\lambda A$ ，其中 $\lambda$为数，$A、C$为矩阵，则 $c_{ij}=\lambda \times a_{ij}$ 。

        3）矩阵与矩阵相乘：设 $A=(a_{ij})$ 是一个 $m\times s$ 矩阵， $B=(b_{ij})$ 是一个 $s\times n$ 矩阵，那么规定矩阵 $A$ 与矩阵 $B$ 的乘积是一个 $m\times n$ 矩阵 $C=(c_{ij})$ ，其中：
$$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{is}{b}_{sj}=\sum _{k=1}^s{a}_{ik}{b}_{kj}$$        并把此乘积记作
$$\text{C}=\text{AB}.$$        需要注意：
                1、矩阵与矩阵的乘法不满足交换律，即 $AB\ne BA$。
                2、若 $AB=O$ 不能推出 $A=O$ 或 $B=O$ 。

        4）矩阵的转置：把矩阵 $A$ 的行换成同序数的列得到一个新矩阵，叫做 $A$ 的转置矩阵，记作 $A^T$ 。矩阵的转置也是一种运算，满足如下规律：
                 (i) $(A^T{)}^T=A$
                 (ii) $(A+B{)}^T=A^T+B^T$
                 (iii) $(\lambda A{)}^T=\lambda A^T$
                 (iv) $(AB{)}^T=B^T{A}^T$
        若 $n$ 阶方阵 $A$ 满足 $A^T=A$，那么 $A$ 称为对称矩阵，简称对称阵。

        5）方阵的行列式：由 $n$ 阶方阵 $A$ 的元素所构成的行列式，称为方阵 $A$ 的行列式，记作 $detA$ 或 $|A|$ 。由 $A$ 确定 $|A|$ 的这个运算满足下述运算规律（设 $A、B$ 为 $n$ 阶方阵， $\lambda$ 为数）：
                 (i) $|A^T|=|A|$
                 (ii) $|\lambda A|={\lambda }^n|A|$
                 (iii) $|AB|=|A||B|$

        6）伴随矩阵：行列式 $|A|$ 的各个元素的代数余子式 $A_{ij}$ 所构成的如下的矩阵：
$$A^{\ast }=\left(\begin{array}{cccc}{A}_{11}& A_{21}& \dots & A_{n1}\\ A_{12}& A_{22}& \dots & A_{n2}\\ ⋮& ⋮& & ⋮\\ A_{1n}& A_{2n}& \dots & A_{nn}\end{array}\right)$$        称为矩阵 $A$ 的伴随矩阵，简称伴随阵。

---

4、逆矩阵

        对于 $n$ 阶矩阵 $A$ ，如果有一个 $n$ 阶矩阵 $B$ ，使 $AB=BA=E$ ，则说矩阵 $A$ 是可逆的，并把矩阵 $B$ 称为 $A$ 的逆矩阵，简称逆阵。如果矩阵 $A$ 可逆，那么它的逆矩阵是唯一的，并记作 $A^{-1}$ 。逆矩阵有如下相关定理：
        1）若矩阵可逆，则 $|A|\ne 0$。
        2）若 $|A|\ne 0$，则矩阵 $A$ 可逆，且 $A^{-1}=\frac{1}{|A|}{A}^{\ast }$，其中 $A^{\ast }$ 为矩阵 $A$ 的伴随矩阵。
        3）当 $|A|=0$ 时， $A$ 称为奇异矩阵，否则称非奇异矩阵。

---

5、矩阵的初等变换

        定义1：下面三种变换称为矩阵的初等行变换：
                (i) 对换两行（对换 $i,j$ 两行，记作 $r_i⟷r_j$）；
                (ii) 以数 $k\ne 0$ 乘某一行中的所有元（第 $i$ 行乘 $k$ ，记作 $r_i\times k$ ）；
                (iii) 把某一行所有元的 $k$ 倍加到另一行对应元上去（第 $j$ 行的 $k$ 倍加到第 $i$ 行上，记作 $r_i+k{r}_j$ ）。
        把定义中的“行”换成“列”，即得到矩阵的初等列变换的定义（所用记号是把 “$r$” 换成 “$c$”）。矩阵的初等行变换和初等列变换，统称初等变换。
        如果矩阵 $A$ 经有限次初等行变换变成矩阵 $B$ 就称矩阵 $A$ 和矩阵 $B$ 行等价，记作 $A\stackrel{r}{\sim }B$ ；如果矩阵 $A$ 经有限次初等列变换变成矩阵 $B$ 就称矩阵 $A$ 和矩阵 $B$ 列等价，记作 $A\stackrel{c}{\sim }B$ ；如果矩阵 $A$ 经有限次初等变换变成矩阵 $B$ 就称矩阵 $A$ 和矩阵 $B$ 等价，记作 $A\sim B$ 。

        定义2：非零矩阵若满足：
                (i) 非零行在零行上面；
                (ii) 非零行的首非零元所在列在上一行（如果存在的话）的首非零元所在列的右面。
        则称此矩阵为行阶梯形矩阵。进一步，若 $A$ 是行阶梯形矩阵，并且还满足：
                (i) 非零行的首非零元为1；
                (ii) 首非零元所在的列的其他元均为0。
        则称 $A$ 为行最简形矩阵。对行最简形矩阵再施以初等列变换，可变成一种形状更简单的矩阵 $F$ ， $F$ 的左上角是一个单位矩阵，其余元全为0，称 $F$ 为标准形。例如：
$$B1=\left(\begin{array}{ccccc}1& 2& -2& 1& 4\\ 0& 1& -1& 1& 0\\ 0& 0& 0& 1& -3\\ 0& 0& 0& 0& 0\end{array}\right),B2=\left(\begin{array}{ccccc}1& 0& -1& 0& 4\\ 0& 1& -1& 0& 3\\ 0& 0& 0& 1& -3\\ 0& 0& 0& 0& 0\end{array}\right),B3=\left(\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right)$$        其中B1、B2、B3都是行阶梯形矩阵，B2、B3是行最简形矩阵，B3是标准形。

        定义3：由单位矩阵 $E$ 经过一次初等变换得到的矩阵称为初等矩阵。三种初等变换对应有三种初等矩阵。

        相关定理与性质：
        1）对于 $m\times n$ 矩阵 $A$ ，总可经过初等变换把它化为标准形。

        2）设 $A$ 与 $B$ 为 $m\times n$ 矩阵，那么
                (i) $A\stackrel{r}{\sim }B$ 的充分必要条件是存在 $m$ 阶可逆矩阵 $P$ ，使 $PA=B$ ；
                (i) $A\stackrel{c}{\sim }B$ 的充分必要条件是存在 $n$ 阶可逆矩阵 $Q$ ，使 $AQ=B$ ；
                (i) $A\sim B$ 的充分必要条件是存在 $m$ 阶可逆矩阵 $P$ 及 $n$ 阶可逆矩阵 $Q$，使 $PAQ=B$ 。

        3）设 $A$ 是一个 $m\times n$ 矩阵，对 $A$ 施行一次初等行变换，相当于在 $A$ 的左边乘相应的 $m$ 阶初等矩阵；对 $A$ 施行一次初等列变换，相当于在 $A$ 的右边乘相应的 $n$ 阶初等矩阵。

        4）方阵 $A$ 可逆的充分必要条件是 $A\stackrel{r}{\sim }E$。因此，使用初等行变换把 $(A,E)$ 化成 $(F,P)$ ，其中 $F$ 为 $A$ 的行最简形矩阵。若 $F=E$ ，则 $P=A^{-1}$ 。

---

6、矩阵的秩

        定义1：在 $m\times n$ 矩阵 $A$ 中，任取 $k$ 行与 $k$ 列（ $k\le m,k\le n$ ），位于这些行列交叉处的 $k^2$ 个元素，不改变它们在 $A$ 所处的位置次序而得到的 $k$ 阶行列式，称为矩阵 $A$ 的 $k$ 阶子式。
        定义2：若矩阵 $A$ 中有一个不等于0的 $r$ 阶子式 $D$ ，且所有 $r+1$ 阶子式（如果存在的话）全等于0，那么 $D$ 称为矩阵 $A$ 的最高阶非零子式，数 $r$ 称为矩阵 $A$ 的秩，记作 $R(A)$ ，并规定零矩阵的秩等于0。
        定义3：可逆矩阵的秩等于矩阵的阶数因此又称为满秩矩阵，不可逆矩阵的秩小于矩阵的阶数因此又称为降秩矩阵。

        求秩方法：将矩阵化为行阶梯形矩阵后，它的秩就等于非零行的行数。

        矩阵的秩的性质：
                 - 0 ≤ R ( A m × n ) ≤ m i n { m , n } 0\le R(A_{m\times n})\le min\left \{ m,n \right \} 0≤R(Am×n​)≤min{m,n}
                 - $R(A^T)=R(A)$
                 - 若 $A\sim B$，则 $R(A)=R(B)$
                 - 若 $P、Q$ 可逆，则 $R(PAQ)=R(A)$
                 - m a x { R ( A ) , R ( B ) } ≤ R ( A , B ) ≤ R ( A ) + R ( B ) max\left \{ R(A),R(B) \right \}\le R(A,B)\le R(A)+R(B) max{R(A),R(B)}≤R(A,B)≤R(A)+R(B)
                 - $R(A+B)\le R(A)+R(B)$
                 - R ( A B ) ≤ m i n { R ( A ) , R ( B ) } R(AB)\le min\left \{ R(A),R(B) \right \} R(AB)≤min{R(A),R(B)}
                 - 若 $A_{m\times n}{B}_{n\times l}=O$ ，则 $R(A)+R(B)\le n$
                 - 设 $AB=O$ ，若 $A$ 为列满秩矩阵，则 $B=O$

---

7、克拉默法则

        克拉默法则用于求解由 $n$ 个 $n$ 元线性方程组成的方程组。如果线性方程组的系数矩阵 $A$ 的行列式不为 0，则方程组有唯一解：
$$x_1=\frac{|A_1|}{|A|},x_2=\frac{|A_2|}{|A|},\dots ,x_n=\frac{|A_n|}{|A|}$$        其中 $A_j$ 是把系数矩阵 $A$ 中第 $j$ 列的元素用常数项矩阵代替后所得到的 $n$ 阶矩阵。

---

8、线性方程组的解

         $n$ 元线性方程组 $Ax=b$
        (i) 无解的充分必要条件是 $R(A)<R(A,b)$ ;
        (ii) 有唯一解的充分必要条件是 $R(A)=R(A,b)=n$ ;
        (iii) 有无限多解的充分必要条件是 $R(A)=R(A,b)<n$ 。

        简单理解：设 $R(A)=r,B=(A,b),\stackrel{\sim }{B}$ 为 $B$ 的行最简形矩阵。
        若 $R(A)<R(B)$ ，则 $\stackrel{\sim }{B}$ 中第 $r+1$ 行的系数矩阵部分全为0，于是 $\stackrel{\sim }{B}$ 的第 $r+1$ 行对应矛盾方程 $0=1$ ，故方程无解。
        若 $R(A)=R(B)=n$ ，则 $\stackrel{\sim }{B}$ 中有 $n$ 个非 0 行，对应 $n$ 个未知数逐步递减至 1 的方程组，故方程有唯一解。
        若 $R(A)=R(B)<n$ ，则 $\stackrel{\sim }{B}$ 中有 $r$ 个非 0 行，对应 $r$ 个未知数逐步递减至 1 的方程组，剩余 $n-r$ 个未知数无法确定，故方程有无限多解。