阅读翻译Mathematics for Machine Learning之2.5 Linear Independence

阅读翻译Mathematics for Machine Learning之2.5 Linear Independence

关于：

• 首次发表日期：2024-07-18
• Mathematics for Machine Learning官方链接： https://mml-book.com
• ChatGPT和KIMI机翻，人工润色
• 非数学专业，如有错误，请不吝指出

2.5 线性无关（ Linear Independence）

接下来，我们将仔细看看如何操作向量（向量空间的元素）。特别是，我们可以将向量相加并用标量相乘。闭合性（closure property）保证了我们最终得到的还是同一向量空间中的另一个向量。我们可以找到一组（set）向量，通过相加和缩放这些向量，我们可以表示向量空间中的每一个向量。这组向量称为基（base），我们将在第2.6.1节讨论它们。在此之前，我们需要介绍线性组合和线性无关的概念。

定义 2.11（线性组合）。考虑一个向量空间 $V$ 和有限数量的向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k\in V$。那么，每一个 $\mathbf{v}\in V$ 形式如下的向量

$$\mathbf{v}={\lambda }_1{\mathbf{x}}_1+\cdots +{\lambda }_k{\mathbf{x}}_k=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i\in V\text{\hspace{1em}(2.65)}$$

其中 ${\lambda }_1,\dots ,{\lambda }_k\in \mathbb{R}$ 是向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$ 的线性组合。

零向量 $0$ 总是可以写成 $k$ 个向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$ 的线性组合，因为 $0={\sum }_{i=1}^{k}0{\mathbf{x}}_i$ 总是成立的。接下来，我们对一组向量的非平凡（non-trivial）线性组合表示 $0$ 感兴趣，即向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$ 的线性组合，其中不是所有系数 ${\lambda }_i$ 在 (2.65) 中都为 0。

定义 2.12（线性（不）相关性）。让我们考虑一个向量空间 $V$ 以及 $k\in \mathbb{N}$ 和 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k\in V$。如果存在一个非平凡的线性组合，使得 $0={\sum }_{i=1}^k{\lambda }_i{\mathbf{x}}_i$ 且至少有一个 ${\lambda }_i\ne 0$，则向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$ 是线性相关的。如果只存在零解，即 ${\lambda }_1=\dots ={\lambda }_k=0$，则向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$ 是线性无关的。

线性无关是线性代数中最重要的概念之一。直观上，一组线性无关的向量由没有冗余的向量组成，即，如果我们从集合中移除任何一个向量，我们将失去一些东西。在接下来的章节中，我们将更正式地讨论这一直觉。

注释 以下性质对于判断向量是否线性无关是有用的：

• $k$ 个向量要么线性相关，要么线性无关，没有第三种可能。

• 如果向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$ 中至少有一个是零向量 $0$，那么它们是线性相关的。如果有两个向量相同，也成立。

• 向量 { x 1 , … , x k : x i ≠ 0 , i = 1 , … , k } , k ⩾ 2 \left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\}, k \geqslant 2 {x1​,…,xk​:xi​=0,i=1,…,k},k⩾2 是线性相关的，当且仅当（至少）其中一个是其他向量的线性组合。特别地，如果一个向量是另一个向量的倍数，即 ${\mathbf{x}}_i=\lambda {\mathbf{x}}_j,\lambda \in \mathbb{R}$，那么集合 { x 1 , … , x k : x i ≠ 0 , i = 1 , … , k } \left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\} {x1​,…,xk​:xi​=0,i=1,…,k} 是线性相关的。

• 检查向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k\in V$ 是否线性无关的一种实用方法是使用高斯消元法：将所有向量作为矩阵 $\mathbf{A}$ 的列，并进行高斯消元，直到矩阵处于行阶梯形态（这里不需要行简化阶梯形态（reduced row-echelon form））：

  • 枢轴列（pivot columns）表示与其左边的向量线性无关的向量。注意，在构建矩阵时向量是有顺序的。
  • 非枢轴列可以表示为左边枢轴列的线性组合。例如，行阶梯形态
    $$\left[\begin{array}{lll}1& 3& 0\\ 0& 0& 2\end{array}\right]$$

  告诉我们第一列和第三列是枢轴列。第二列是非枢轴列，因为它是第一列的三倍。

所有列向量是线性无关的当且仅当所有列都是枢轴列。如果至少有一个非枢轴列，则这些列（因此，相应的向量）是线性相关的。

注释 考虑一个向量空间 $V$，其中有 $k$ 个线性无关的向量 ${\mathbf{b}}_1,\dots ,{\mathbf{b}}_k$ 和 $m$ 个线性组合

$$\begin{array}{c}{\mathbf{x}}_1=\sum _{i=1}^k{\lambda }_{i1}{\mathbf{b}}_i,\\ ⋮\\ {\mathbf{x}}_m=\sum _{i=1}^k{\lambda }_{im}{\mathbf{b}}_i.\end{array}\text{\hspace{1em}(2.7.0)}$$

定义 $\mathbf{B}=\left[{\mathbf{b}}_1,\dots ,{\mathbf{b}}_k\right]$ 为一个矩阵，其列是线性无关的向量 ${\mathbf{b}}_1,\dots ,{\mathbf{b}}_k$，我们可以更紧凑地写成

$$\begin{array}{c}{\mathbf{x}}_j=\mathbf{B}{\mathbf{\lambda }}_j,{\mathbf{\lambda }}_j=\left[\begin{array}{c}{\lambda }_{1j}\\ ⋮\\ {\lambda }_{kj}\end{array}\right],j=1,\dots ,m,\end{array}\text{\hspace{1em}(2.7.1)}$$

我们想要检验 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_m$ 是否线性无关。为此，我们遵循检验 ${\sum }_{j=1}^m{\psi }_j{\mathbf{x}}_j=0$ 的一般方法。通过 (2.71)，我们得到

$$\sum _{j=1}^m{\psi }_j{\mathbf{x}}_j=\sum _{j=1}^m{\psi }_j\mathbf{B}{\mathbf{\lambda }}_j=\mathbf{B}\sum _{j=1}^m{\psi }_j{\mathbf{\lambda }}_j.\text{\hspace{1em}(2.7.2)}$$

这意味着当且仅当列向量 { λ 1 , … , λ m } \left\{\boldsymbol{\lambda}_1, \ldots, \boldsymbol{\lambda}_m\right\} {λ1​,…,λm​} 是线性无关的， { x 1 , … , x m } \left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right\} {x1​,…,xm​} 是线性无关的。

注释：在一个向量空间 $V$ 中，$m$ 个由 $k$ 个向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_k$ 线性组合而成的向量是线性相关的，如果 $m>k$。