笔记：宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第六节

3.6 矩阵

下面，我们将精确地定义矩阵并介绍一些关于矩阵的运算。矩阵构成了一个向量空间，它具有结合律，但非交换律的乘法运算。

定义3.12 如果 $K=\mathbb{R}$ 或者 $K=C$ ，一个在 $K$ 上的 $m\times n$ 的矩阵maxtrix 是由 $K$ 上的标量簇 $(a_{ij}{)}_{1\le i\le m,1\le j\le n}$ 组成的，其可以表达为如下形式：
$$\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$$
特别地，如果 $m=1$ ，那么其为行向量（row vector），可以表达为：
$$（a_{11}...a_{1n}）$$
如果 $n=1$ ，那么其为列向量（column vector），可以表达为：
$$\left(\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{m1}\end{array}\right)$$
对于以上两种特殊情况，我们通常省略常量索引 $1$ (对于行是第一个索引，对于列是第二个索引)。整个的 $m\times n$ 矩阵，我们简记为 $M_{m,n}(K)$ 或者 $M_{m,n}$。特殊地，我们将 $n\times n$ 的矩阵称为维度为 $n$ 的方阵 (square matrix od dimension $n$ )，我们将其表示为 $M_n(K)$ 或者 $M_n$ 。

下面我们定义更多矩阵的运算：

定义3.13

对于两个 $m\times n$ 的矩阵 $A=(a_{ij})$ 和 $B=(b_{ij})$ ，我们定义他们的加法（sum）如下，即 $A+B=C=(c_{ij})$
$$\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)+\left(\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1n}\\ b_{21}& b_{22}& \cdots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{m1}& b_{m2}& \cdots & b_{mn}\end{array}\right)=\left(\begin{array}{cccc}{a}_{11}+b_{11}& a_{12}+b_{12}& \cdots & a_{1n}+b_{1n}\\ a_{21}+b_{21}& a_{22}+b_{22}& \cdots & a_{2n}+b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}+b_{m1}& a_{m2}+b_{m2}& \cdots & a_{mn}+b_{mn}\end{array}\right)$$
对于任意的矩阵 $A=(a_{ij})$ 和给定的标量 $\lambda \in K$ ，我们定义矩阵的标量乘法 $\lambda A$ 如下，即 $c_{ij}=\lambda a_{ij}$ :
$$\lambda \left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)=\left(\begin{array}{cccc}\lambda a_{11}& \lambda a_{12}& \cdots & \lambda a_{1n}\\ \lambda a_{21}& \lambda a_{22}& \cdots & \lambda a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ \lambda a_{m1}& \lambda a_{m2}& \cdots & \lambda a_{mn}\end{array}\right)$$
对于 $m\times n$ 的矩阵 $A=(a_{ik})$ 以及 $n\times p$ 的矩阵 $B=(b_{kj})$ ，我们定义矩阵的乘法（product）如下，即 $AB=C_{m\times p}=(c_{ij})$：
$$c_{ij}=\sum _{k=1}^n{a}_{ik}{b}_{kj}$$
写成矩阵形式如下：
$$\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)\left(\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1n}\\ b_{21}& b_{22}& \cdots & b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ b_{m1}& b_{m2}& \cdots & b_{mn}\end{array}\right)=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{m1}& c_{m2}& \cdots & c_{mn}\end{array}\right)$$
Note：对于矩阵乘积 $AB$ ，可以表达为 $A$ 矩阵第 $i$ 列对应的行矩阵与 $B$ 矩阵第 $j$ 列对应的列矩阵的乘积，即：
$$（a_{i1},...,a_{in})\left(\begin{array}{c}{b}_{1j}\\ ⋮\\ b_{nj}\end{array}\right)=\sum _{k=1}^n{a}_{ik}{b}_{kj}$$
定义3.14 对于对角线上为1，其他地方为0的方阵 $I_n$ 称其为单位矩阵（identity matrix），即
$$I_n=\left(\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right)$$
定义3.15 对于 $m\times n$ 的矩阵 $A=(a_{ij})$ ，其转置（transpose） $A^T=(a_{ji}^T)$ 是一个 $n\times m$ 的矩阵，且对于所有的$1\le i\le m,1\le j\le n$ ，都有 $a_{ji}^T=a_{ij}$ 。我们有时也将其写为 $A^t$ 或者 ${}^{t}A$ 。例如 $5\times 6$ 的矩阵 $A$ :
$$A=\left(\begin{array}{cccccc}1& 2& 3& 4& 5& 6\\ 7& 1& 2& 3& 4& 5\\ 8& 7& 1& 2& 3& 4\\ 9& 8& 7& 1& 2& 3\\ 10& 9& 8& 7& 1& 2\end{array}\right)$$
那么其转置的矩阵为 $A^T$ ，为 $6\times 5$ 的矩阵：
$$A^T=\left(\begin{array}{ccccc}1& 7& 8& 9& 10\\ 2& 1& 7& 8& 9\\ 3& 2& 1& 7& 8\\ 4& 3& 2& 1& 7\\ 5& 4& 3& 2& 1\\ 6& 5& 4& 3& 2\end{array}\right)$$
对于 $m\times n$ 的矩阵 $A=(a_{ik})$ 以及 $n\times p$ 的矩阵 $B=(b_{kj})$ ，如果我们将 $A$ 的列表示为 $A^1,\dots A^n$ 并把 $B$ 的行表示为 $B_1\dots ,B_n$ ，那么矩阵的乘法可以表示为：
$$AB=A^1{B}_1+...+A^n{B}_n$$
对于每一个 $n$ 维的方阵 $A$ ，必定有 $A{I}_n=I_{n}A=A$ 。

定义3.16 对于任何 $n$ 维的方阵 $A$，如果存在一个矩阵 $B$ ，使得 $AB=BA=I_n$，那么这个矩阵 $B$ 是唯一的，且我们将其称为矩阵 $A$ 的逆（inverse），也可以表示为 $A^{-1}$。可逆矩阵又被称为非退化矩阵、非奇异矩阵（nonsingular matrix），不可逆矩阵又被称为退化矩阵、奇异矩阵（singular matrix）。

定义3.17 对于一个 $m\times n$ 的矩阵 $E_{ij}=(e_{hk})$ ，其中 $e_{ij}=1,e_{hk}=0$ ($h\ne i$ 或 $k\ne j$)，换句话说，$(i,j)$项等于1，其他项都是0 。下面是 $E_{ij}$ 的表达，其中 $m=2,n=3$：
$$\begin{gathered} E_{11}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\end{array}\right),E_{12}=\left(\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\end{array}\right),E_{13}=\left(\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\end{array}\right) \\ {E}_{21}=\left(\begin{array}{ccc}0& 0& 0\\ 1& 0& 0\end{array}\right),E_{22}=\left(\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\end{array}\right),E_{23}=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\end{array}\right) \end{gathered}$$
每一个矩阵 $A=(a_{ij})\in M_{m,n}(K)$ 都可以被表示为唯一的
$$A=\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}{E}_{ij}$$
所以联系3.5节，对于向量集 $(E_{ij}{)}_{1\le i\le m,1\le j\le n}$ ，其为向量空间 $M_{m,n}(K)$的一组基，其维数为 $mn$ 。

性质3.13

（1）对于矩阵 $A\in M_{m,n}(K)，B\in M_{n,p}(K),C\in M_{p,q}(K)$ ，都有
$$（AB）C=A(BC)$$
即矩阵乘法的结合律（association）

（2）对于矩阵 $A,B\in M_{m,n}(K)$ 和 $C,D\in M_{n,p}(K)$ ，以及所有的 $\lambda \in K$ ，都有
$$（A+B）C=AC+BC$$

$$A(C+D)=AC+AD$$

$$(\lambda A)C=\lambda (AC)$$

$$A(\lambda C)=\lambda (AC)$$

即矩阵乘法是双线性的，即 $M_{m,n}(K)\times M_{n,p}(K)\to M_{m,p}(K)$ 。

实例：

对于这两个 $2\times 2$ 的矩阵 $A，B$：
$$A=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right),B=\left(\begin{array}{cc}0& 0\\ 1& 0\end{array}\right)$$
对于 $AB$
$$AB=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right)\left(\begin{array}{cc}0& 0\\ 1& 0\end{array}\right)=\left(\begin{array}{cc}0& 0\\ 0& 0\end{array}\right)$$
对于 $BA$
$$BA=\left(\begin{array}{cc}0& 0\\ 1& 0\end{array}\right)\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right)=\left(\begin{array}{cc}0& 0\\ 1& 0\end{array}\right)$$
从上面可以看出 $AB\ne BA$ ，且 $AB=0$ 时，$A,B$ 不一定为零矩阵。

预告

线性映射