阅读翻译Mathematics for Machine Learning之2.6 Generating Set and Basis

shizidushu

已于 2024-07-19 00:57:04 修改

阅读量793

点赞数 9

文章标签：机器学习人工智能线性代数

于 2024-07-19 00:28:05 首次发布

本文链接：https://blog.csdn.net/shizidushu/article/details/140536354

版权

阅读翻译Mathematics for Machine Learning之2.6 Generating Set and Basis

关于：

首次发表日期：2024-07-19
Mathematics for Machine Learning官方链接： https://mml-book.com
ChatGPT和KIMI机翻，人工润色
非数学专业，如有错误，请不吝指出

2.6.1 Basis and Rank (基与秩)

定义 2.13（生成集与张成）。考虑一个向量空间 $V=(\mathcal{V}, +, \cdot)$ 和一组向量 $\mathcal{A}=\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right\} \subseteq \mathcal{V}$ 。如果 $\mathcal{V}$ 中的每一个向量 $\boldsymbol{v}$ 都可以表示为 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 的线性组合，则称 $\mathcal{A}$ 为 $V$ 的一个生成集。向量 $\mathcal{A}$ 中所有向量的线性组合构成的集合称为 $\mathcal{A}$ 的张成。如果 $\mathcal{A}$ 张成了向量空间 $V$ ，我们写作 $V=\operatorname{span}[\mathcal{A}]$ 或 $V=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right]$ 。

生成集是张成向量（子）空间的向量集合，即每一个向量都可以表示为生成集中向量的线性组合。现在，我们将更加具体地描述张成向量（子）空间的最小生成集。

定义 2.14（基）。考虑一个向量空间 $V=(\mathcal{V}, +, \cdot)$ 和 $\mathcal{A} \subseteq \mathcal{V}$ 。如果不存在比 $\mathcal{A}$ 更小的集合 $\tilde{\mathcal{A}} \subsetneq \mathcal{A} \subseteq \mathcal{V}$ 能张成 $V$ ，那么 $V$ 的生成集 $\mathcal{A}$ 被称为最小生成集。 $V$ 的每一个线性无关的生成集都是最小的，并且被称为 $V$ 的一个基。

设 $V=(\mathcal{V},+, \cdot)$ 是一个向量空间， $\mathcal{B} \subseteq \mathcal{V}, \mathcal{B} \neq \emptyset$ 。那么，以下陈述是等价的：

$\mathcal{B}$ 是 $V$ 的一个基。
$\mathcal{B}$ 是一个最小生成集。
$\mathcal{B}$ 是 $V$ 中的最大线性无关向量集，即向这个集合中添加任何其他向量都会使其线性相关。
每一个向量 $\boldsymbol{x} \in V$ 都是来自 $\mathcal{B}$ 的向量的线性组合，并且每个线性组合都是唯一的，即：

$\boldsymbol{x}=\sum_{i=1}^k \lambda_i \boldsymbol{b}_i=\sum_{i=1}^k \psi_i \boldsymbol{b}_i \tag{2.77}$

且 $\lambda_i, \psi_i \in \mathbb{R}, \boldsymbol{b}_i \in \mathcal{B}$ ，这意味着 $\lambda_i=\psi_i, i=1, \ldots, k$ 。

基是一个最小的生成集和一个最大的线性无关向量集合。

**例2.16**

在 $\mathbb{R}^3$ 中，标准基是
$\mathcal{B}=\left\{\left[\begin{array}{l} 1 \\ 0 \\ 0 \end{array}\right],\left[\begin{array}{l} 0 \\ 1 \\ 0 \end{array}\right],\left[\begin{array}{l} 0 \\ 0 \\ 1 \end{array}\right]\right\}$
$\mathbb{R}^3$ 中不同的基是
$\mathcal{B}_1=\left\{\left[\begin{array}{l} 1 \\ 0 \\ 0 \end{array}\right],\left[\begin{array}{l} 1 \\ 1 \\ 0 \end{array}\right],\left[\begin{array}{l} 1 \\ 1 \\ 1 \end{array}\right]\right\}, \mathcal{B}_2=\left\{\left[\begin{array}{l} 0.5 \\ 0.8 \\ 0.4 \end{array}\right],\left[\begin{array}{l} 1.8 \\ 0.3 \\ 0.3 \end{array}\right],\left[\begin{array}{c} -2.2 \\ -1.3 \\ 3.5 \end{array}\right]\right\} .$
集合
$\mathcal{A}=\left\{\left[\begin{array}{l} 1 \\ 2 \\ 3 \\ 4 \end{array}\right],\left[\begin{array}{c} 2 \\ -1 \\ 0 \\ 2 \end{array}\right],\left[\begin{array}{c} 1 \\ 1 \\ 0 \\ -4 \end{array}\right]\right\}$
是线性无关的，但不是 $\mathbb{R}^4$ 的生成集（也不是基）：例如，向量 $[1,0,0,0]^{\top}$ 不能通过 $\mathcal{A}$ 中元素的线性组合得到。

注释每个向量空间 $V$ 都有一个基 $\mathcal{B}$ 。前面的例子表明，一个向量空间 $V$ 可以有许多不同的基，即没有唯一的基。然而，所有的基都具有相同数量的元素，即基向量。

我们只考虑有限维向量空间 $V$ 。在这种情况下， $V$ 的维数是其基向量的数量，记作 $\operatorname{dim}(V)$ 。如果 $\subseteq V$ 是 $V$ 的子空间，则 $\operatorname{dim}(U) \leqslant \operatorname{dim}(V)$ ，且当且仅当 $U = V$ 时 $\operatorname{dim}(U) = \operatorname{dim}(V)$ 。直观地说，向量空间的维数可以理解为这个空间中独立方向的数量。

注释向量空间的维数不一定是向量中元素的数量。例如，向量空间 $V=\operatorname{span}[\left[\begin{array}{l}0 \\ 1\end{array}\right]]$ 是一维的，尽管基向量具有两个元素。

向量空间的维数对应于其基向量的数量。

注释子空间 $U=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right] \subseteq \mathbb{R}^n$ 的一个基可以通过以下步骤找到：

将张成向量写成矩阵 $\boldsymbol{A}$ 的列。
求解矩阵 $\boldsymbol{A}$ 的行阶梯形式。
与枢轴列相关联的张成向量构成 $U$ 的一个基。

2.6.2 Rank（秩）

一个矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的线性无关列的数量等于线性无关行的数量，并且被称为 $\boldsymbol{A}$ 的秩，表示为 $\operatorname{rk}(\boldsymbol{A})$ 。

注释。矩阵的秩具有一些重要性质：

$\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}\left(\boldsymbol{A}^{\top}\right)$ ，即，列秩等于行秩。
$\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的列张成一个子空间 $\subseteq \mathbb{R}^m$ ，其维数为 $\operatorname{dim}(U)=\operatorname{rk}(\boldsymbol{A})$ 。稍后我们将这个子空间称为像或值域。通过应用高斯消元法到 $\boldsymbol{A}$ 可以找到 $U$ 的一个基，以识别枢轴列。
$\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的行张成一个子空间 $\subseteq \mathbb{R}^n$ ，其维数为 $\operatorname{dim}(W)=\operatorname{rk}(\boldsymbol{A})$ 。通过应用高斯消元法到 $\boldsymbol{A}^{\top}$ 可以找到 $W$ 的一个基。
对于所有的 $\boldsymbol{A} \in \mathbb{R}^{n \times n}$ ，如果且仅如果 $\operatorname{rk}(\boldsymbol{A})=n$ ， $\boldsymbol{A}$ 是正则的（可逆的）。
对于所有的 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 和所有的 $\boldsymbol{b} \in \mathbb{R}^m$ ，线性方程组 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}$ 可以求解当且仅当 $\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}(\boldsymbol{A} \mid \boldsymbol{b})$ ，其中 $\boldsymbol{A} \mid \boldsymbol{b}$ 表示增广系统。
对于 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ ， $\boldsymbol{A x}=\mathbf{0}$ 的解空间具有维数 $n-\operatorname{rk}(\boldsymbol{A})$ 。稍后，我们将这个子空间称为核或零空间。
如果矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的秩等于相同维度矩阵的最大可能秩，则称其具有满秩。这意味着满秩矩阵的秩是行数和列数中的较小者，即 $\operatorname{rk}(\boldsymbol{A})=\min (m, n)$ 。如果矩阵没有满秩，则称其为秩亏损的。

例子2.18（秩）

$\boldsymbol{A}=\left[\begin{array}{lll}1 & 0 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 0\end{array}\right]$

矩阵 $\boldsymbol{A}$ 有两行/列是线性无关的，因此 $\operatorname{rk}(\boldsymbol{A})=2$ 。

$\boldsymbol{A}=\left[\begin{array}{ccc}1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0\end{array}\right]$ 。

我们使用高斯消元法来确定秩：
$\left[\begin{array}{ccc} 1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0 \end{array}\right] \rightsquigarrow \cdots \rightsquigarrow\left[\begin{array}{ccc} 1 & 2 & 1 \\ 0 & 1 & 3 \\ 0 & 0 & 0 \end{array}\right] .$