机器学习和深度学习之数学基础-线性代数 第二节 矩阵的概念及运算

本文为原创文章，欢迎转载，但请务必注明出处。

上文介绍了线性映射，而与线性映射直接相关的就是矩阵，它决定了线性映射的结果，这里介绍矩阵的一些基本概念和运算。包括矩阵的转置、逆、特征值与特征向量、投影、正交矩阵、对称矩阵、正定矩阵、内积和外积、SVD、二次型等基本概念。本文主要参考Garrett Thomas(2018)，Marc Peter Deisenroth(2018)，Strang(2003)，José Miguel Figueroa-O’Farrill， Isaiah Lankham(UCD, MAT67,2012)等教授的相关讲座和教材。

1、 矩阵的转置

矩阵转置的定义很简单，矩阵的转置就是将矩阵的行变为列，即 $\mathbf{A}\in \mathbb{R}^{m \times n}$， 那么转置 $\mathbf{A}^{\top} \in \mathbb{R}^{n \times m}$，且$(\mathbf{A}^{\top})_{ij}=\mathbf{A}_{ji}$。

转置的性质：

• $(\mathbf{A}^\top)^\top=\mathbf{A}$
• $(\mathbf{A}+\mathbf{B})^\top=\mathbf{A}^\top + \mathbf{B}^\top$
• $(\alpha \mathbf{A})^\top=\alpha \mathbf{A}^\top$
• $(\mathbf{A}\mathbf{B})^\top=\mathbf{B}^\top \mathbf{A}^\top$

若$\mathbf{A}^\top=\mathbf{A}$， 那么 $\mathbf{A}$ 称为对称矩阵(symmetric)。任何一个矩阵都可以是一个对称矩阵和反对称矩阵(antisymmetric)的和：

$$\mathbf{A} = \frac{1}{2}(\mathbf{A} + \mathbf{A}^\top)+\frac{1}{2}(\mathbf{A} - \mathbf{A}^\top)$$
其中， $\frac{1}{2}(\mathbf{A} + \mathbf{A}^\top)$是对称矩阵， $\frac{1}{2}(\mathbf{A} - \mathbf{A}^\top)$是反对称矩阵。

2、可逆矩阵(invertible matrix)

一个方阵 $\mathbf{A}\in \mathbb{R}^{n \times n}$ 可逆当且仅当存在一个方阵 $\mathbf{B}\in \mathbb{R}^{n \times n}$ 使得

$$\mathbf{A}\mathbf{B}=\mathbf{I}$$
其中 $\mathbf{I} \in \mathbb{R}^{n \times n}$ 为单位矩阵。那么方阵 $\mathbf{B}$ 为方阵 $\mathbf{A}$的逆矩阵，记作 $\mathbf{A}^{-1}$。

如果矩阵 $\mathbf{A}\in \mathbb{R}^{n \times n}$，那么下面的说法等价：

• $\mathbf{A}$可逆
• $\mathbf{A}$不是奇异矩阵(non-singular)
• 行列式 ${\rm det}(\mathbf{A}) \neq 0$
• $\mathbf{A}$ 满秩，即 ${\rm rank}(\mathbf{A} = n)$
• $\mathbf{A}\mathbf{x}=0$只有唯一解：$\mathbf{x}=\mathbf{0}$
• $\mathbf{A}$ 的零空间只有零向量：$\{\mathbf{0}\}$，即${\rm null}(\mathbf{A})=\mathbf{0}$
• $\mathbf{A}$的列向量线性无关
• $\mathbf{A}$的列向量的张成是整个$\mathbb{R}^n$空间。
• $\mathbf{A}$的列向量构成$\mathbb{R}^n$的一个基向量集
• 存在方阵$\mathbf{B}\in \mathbb{R}^{n \times n}$ 使得 $\mathbf{A}\mathbf{B}=\mathbf{I} = \mathbf{B}\mathbf{A}$.
• 转置 $\mathbf{A}^\top$是可逆矩阵，于是，矩阵$\mathbf{A}$的行向量是线性无关的，张成是$\mathbb{R}^n$空间，同时构成了$\mathbb{R}^n$的一个基向量集。
• $\mathbf{A}$不存在值为0的特征值。
• $\mathbf{A}$可以表示为有限个初等矩阵的乘积。
• $\mathbf{A}$ 有左逆矩阵（即 $\mathbf{B}\mathbf{A}=\mathbf{I}$）和 右逆矩阵(即 $\mathbf{A}\mathbf{C}=\mathbf{I}$)，且 $\mathbf{B}=\mathbf{C}=\mathbf{A}^{-1}$。

可逆矩阵 $\mathbf{A}$ 的一些重要性质：

• $(\mathbf{A}^{-1})^{-1}=\mathbf{A}$;
• $(\alpha\mathbf{A})^{-1}=\alpha^{-1}\mathbf{A}^{-1}$，这里实数标量$\alpha \neq 0$
• $(\mathbf{A}^\top)^{-1}=(\mathbf{A}^{-1})^\top$
• $(\mathbf{A}\mathbf{B})^{-1}=\mathbf{B}^{-1}\mathbf{A}^{-1}$，其中$\mathbf{B}\in \mathbb{R}^{n\times n}$ 是可逆矩阵。 更一般情况，如果方阵 $\mathbf{A}_1,...\mathbf{A}_k$可逆，那么$(\mathbf{A}_1...\mathbf{A}_k)^{-1}=\mathbf{A}_k^{-1}...\mathbf{A}_1^{-1}$.
• ${\rm det}(\mathbf{A}^{-1})=({\rm det}(\mathbf{A}))^{-1}$

如果方阵$\mathbf{A}$ 的逆矩阵就是它自身，即$\mathbf{A}=\mathbf{A}^{-1}$， 那么有 $\mathbf{A}^2 = \mathbf{I}$，这是方阵$\mathbf{A}$就叫对合矩阵(involutory matrix)。

3、矩阵的列空间(columnspace)和行空间(rowspace)， 矩阵的秩(rank)

矩阵$\mathbf{A}\in \mathbb{R}^{m \times n}$的列空间(columnspace)是指其列向量(看成是$\mathbb{R}^m$中的向量)的张成； 类似的，行空间(rowspace)是指其行向量(看成是$\mathbb{R}^n$中的向量)的张成。

矩阵$\mathbf{A}$的列空间等于由矩阵$\mathbf{A}$导致的线性映射 $\mathbb{R}^n \rightarrow \mathbb{R}^m$ 的值域, 即${\rm range}(\mathbf{A})$。

矩阵$\mathbf{A}\in \mathbb{R}^{m \times n}$的列秩是矩阵$\mathbf{A}$的线性无关的列向量的最大数量。类似地，行秩是矩阵$\mathbf{A}$的线性无关的行向量的最大数量。 矩阵的列秩和行秩总是相等的，因此它们可以简单地称作矩阵$\mathbf{A}$的秩，通常表示为${\rm r}(\mathbf{A})$或${\rm rank}(\mathbf{A})$。

4、范数(norm)和内积(inner product)

4.1、范数(norm)

范数(norm)是对欧氏空间距离的一般描述。在实数向量空间$V$的一个范数是一个函数 $\left \| \cdot \right \|: V \rightarrow \mathbb{R}$，并且满足：

• $\left \| \mathbf{x} \right \| \ge 0$， 当且仅当 $\mathbf{x} = \mathbf{0}$ 等号成立；
• $\left \| \alpha \mathbf{x} \right \| = |\alpha| \left \| \mathbf{x} \right \|$
• $\left \| \mathbf{x} + \mathbf{y} \right \| \le \left \| \mathbf{x} \right \| + \left \| \mathbf{y} \right \|$ （三角不等式）

注意在$V$上的任何范数都会引出一个在$V$上的距离度量：$d(\mathbf{x},\mathbf{y})=\left \| \mathbf{x} - \mathbf{y} \right \|$

常用的范数包括：

$$\left \| \mathbf{x} \right \|_1 = \sum_{i=1}^n|x_i|$$
$$\left \| \mathbf{x} \right \|_2 = \sqrt{\sum_{i=1}^n x_i^2}$$
$$\left \| \mathbf{x} \right \|_p = \left (\sum_{i=1}^n |x_i|^p \right )^{\frac{1}{p}},(p\ge 1)$$
$$\left \| \mathbf{x} \right \|_\infty = \underset{1 \le i \le n}{{\rm max}} |x_i|$$

图一，不同范数在二维平面的示例

4.2、内积(inner product)

在实数向量空间$V$的一个内积是一个函数 $\left \langle \cdot \right \rangle: V \times V \rightarrow \mathbb{R}$，并且满足：

• $\left \langle \mathbf{x}, \mathbf{x} \right \rangle \ge 0$，当且仅当 $\mathbf{x} = \mathbf{0}$ 等号成立
• ⟨x+y,z⟩=⟨x,z