阅读翻译Mathematics for Machine Learning之2.8 Affine Subspaces

阅读翻译Mathematics for Machine Learning之2.8 Affine Subspaces

关于:

  • 首次发表日期:2024-07-24
  • Mathematics for Machine Learning官方链接: https://mml-book.com
  • ChatGPT和KIMI机翻,人工润色
  • 非数学专业,如有错误,请不吝指出

2.8 仿射空间

接下来,我们将更详细地考察从原点偏移的空间,即不再是向量子空间的空间。此外,我们还将简要讨论这些仿射空间之间映射的性质,这些映射类似于线性映射。

备注。在机器学习文献中,线性和仿射之间的区别有时并不明确,以至于我们可以发现将仿射空间/映射称为线性空间/映射的参考文献。

2.8.1 仿射空间

定义 2.25(仿射子空间)。设 V V V 为一个向量空间, x 0 ∈ V \boldsymbol{x}_0 \in V x0V U ⊆ V U \subseteq V UV 为一个子空间。那么子集

L = x 0 + U : = { x 0 + u : u ∈ U } = { v ∈ V ∣ ∃ u ∈ U : v = x 0 + u } ⊆ V \begin{align*} L & =\boldsymbol{x}_0+U:=\left\{\boldsymbol{x}_0+\boldsymbol{u}: \boldsymbol{u} \in U\right\} \tag{2.130a} \\ & =\left\{\boldsymbol{v} \in V \mid \exists \boldsymbol{u} \in U: \boldsymbol{v}=\boldsymbol{x}_0+\boldsymbol{u}\right\} \subseteq V \tag{2.130b} \end{align*} L=x0+U:={x0+u:uU}={vVuU:v=x0+u}V(2.130a)(2.130b)

称为 V V V仿射子空间线性流形(linear manifold) U U U 称为方向方向空间(direction space) x 0 \boldsymbol{x}_0 x0 称为支点(support point)。在第12章中,我们将这种子空间称为超平面。

注意,如果 x 0 ∉ U \boldsymbol{x}_0 \notin U x0/U,则仿射子空间的定义排除了 0 \mathbf{0} 0。因此,对于 x 0 ∉ U \boldsymbol{x}_0 \notin U x0/U,仿射子空间不是 V V V 的(线性)子空间(向量子空间)。

仿射子空间的例子有 R 3 \mathbb{R}^3 R3 中的点、线和平面,这些点、线和平面不(一定)通过原点。

备注。考虑向量空间 V V V 的两个仿射子空间 L = x 0 + U L = \boldsymbol{x}_0 + U L=x0+U L ~ = x ~ 0 + U ~ \tilde{L} = \tilde{\boldsymbol{x}}_0 + \tilde{U} L~=x~0+U~。当且仅当 U ⊆ U ~ U \subseteq \tilde{U} UU~ x 0 − x ~ 0 ∈ U ~ x_0 - \tilde{x}_0 \in \tilde{U} x0x~0U~ 时, L ⊆ L ~ L \subseteq \tilde{L} LL~

仿射子空间通常由参数描述:考虑一个 V V V k k k 维仿射空间 L = x 0 + U L = \boldsymbol{x}_0 + U L=x0+U。如果 ( b 1 , … , b k ) \left(\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\right) (b1,,bk) U U U 的一个有序基,那么每个元素 x ∈ L \boldsymbol{x} \in L xL 都可以唯一地描述为

x = x 0 + λ 1 b 1 + … + λ k b k , (2.131) \boldsymbol{x}=\boldsymbol{x}_0+\lambda_1 \boldsymbol{b}_1+\ldots+\lambda_k \boldsymbol{b}_k, \tag{2.131} x=x0+λ1b1++λkbk,(2.131)

其中 λ 1 , … , λ k ∈ R \lambda_1, \ldots, \lambda_k \in \mathbb{R} λ1,,λkR。这种表示称为具有方向向量 b 1 , … , b k \boldsymbol{b}_1, \ldots, \boldsymbol{b}_k b1,,bk 和参数 λ 1 , … , λ k \lambda_1, \ldots, \lambda_k λ1,,λk L L L 的参数方程。


**例 2.26(仿射子空间)**
  • 一维仿射子空间称为直线,可以写作 y = x 0 + λ b 1 \boldsymbol{y}=\boldsymbol{x}_0+\lambda \boldsymbol{b}_1 y=x0+λb1,其中 λ ∈ R \lambda \in \mathbb{R} λR U = span ⁡ [ b 1 ] ⊆ R n U=\operatorname{span}\left[\boldsymbol{b}_1\right] \subseteq \mathbb{R}^n U=span[b1]Rn R n \mathbb{R}^n Rn 的一维子空间。这意味着直线由一个支点 x 0 \boldsymbol{x}_0 x0 和一个定义方向的向量 b 1 \boldsymbol{b}_1 b1 定义。参见图 2.13 了解示意图。
  • R n \mathbb{R}^n Rn 的二维仿射子空间称为平面。平面的参数方程为 y = x 0 + λ 1 b 1 + λ 2 b 2 \boldsymbol{y}=\boldsymbol{x}_0+\lambda_1 \boldsymbol{b}_1+\lambda_2 \boldsymbol{b}_2 y=x0+λ1b1+λ2b2,其中 λ 1 , λ 2 ∈ R \lambda_1, \lambda_2 \in \mathbb{R} λ1,λ2R U = span ⁡ [ b 1 , b 2 ] ⊆ R n U=\operatorname{span}\left[\boldsymbol{b}_1, \boldsymbol{b}_2\right] \subseteq \mathbb{R}^n U=span[b1,b2]Rn。这意味着平面由一个支点 x 0 \boldsymbol{x}_0 x0 和两个线性独立的向量 b 1 , b 2 \boldsymbol{b}_1, \boldsymbol{b}_2 b1,b2 定义,这两个向量张成方向空间(span the direction space)。
  • R n \mathbb{R}^n Rn 中, ( n − 1 ) (n-1) (n1) 维仿射子空间被称为超平面,相应的参数方程为 y = x 0 + ∑ i = 1 n − 1 λ i b i \boldsymbol{y}=\boldsymbol{x}_0+\sum_{i=1}^{n-1} \lambda_i \boldsymbol{b}_i y=x0+i=1n1λibi,其中 b 1 , … , b n − 1 \boldsymbol{b}_1, \ldots, \boldsymbol{b}_{n-1} b1,,bn1 构成 R n \mathbb{R}^n Rn 的一个 ( n − 1 ) (n-1) (n1) 维子空间 U U U 的基。这意味着超平面由一个支点 x 0 \boldsymbol{x}_0 x0 ( n − 1 ) (n-1) (n1) 个线性独立的向量 b 1 , … , b n − 1 \boldsymbol{b}_1, \ldots, \boldsymbol{b}_{n-1} b1,,bn1 定义,这些向量张成方向空间。在 R 2 \mathbb{R}^2 R2 中,直线也是超平面。在 R 3 \mathbb{R}^3 R3 中,平面也是超平面。

在这里插入图片描述


备注(非齐次线性方程组和仿射子空间)。对于 A ∈ R m × n \boldsymbol{A} \in \mathbb{R}^{m \times n} ARm×n x ∈ R m \boldsymbol{x} \in \mathbb{R}^m xRm,线性方程组 A λ = x \boldsymbol{A} \boldsymbol{\lambda}=\boldsymbol{x} Aλ=x 的解要么是空集,要么是 R n \mathbb{R}^n Rn 中维度为 n − rk ⁡ ( A ) n-\operatorname{rk}(\boldsymbol{A}) nrk(A) 的仿射子空间。特别地,当 ( λ 1 , … , λ n ) ≠ ( 0 , … , 0 ) \left(\lambda_1, \ldots, \lambda_n\right) \neq (0, \ldots, 0) (λ1,,λn)=(0,,0) 时,线性方程 λ 1 b 1 + … + λ n b n = x \lambda_1 \boldsymbol{b}_1 + \ldots + \lambda_n \boldsymbol{b}_n = \boldsymbol{x} λ1b1++λnbn=x 的解是 R n \mathbb{R}^n Rn 中的一个超平面。

R n \mathbb{R}^n Rn 中,每个 k k k 维仿射子空间都是非齐次线性方程组 A x = b \boldsymbol{A x}=\boldsymbol{b} Ax=b 的解,其中 A ∈ R m × n \boldsymbol{A} \in \mathbb{R}^{m \times n} ARm×n b ∈ R m \boldsymbol{b} \in \mathbb{R}^m bRm 并且 rk ⁡ ( A ) = n − k \operatorname{rk}(\boldsymbol{A})=n-k rk(A)=nk。回想一下,对于齐次方程组 A x = 0 \boldsymbol{A x}=\mathbf{0} Ax=0,解是一个向量子空间,我们也可以将其视为一个特殊的仿射空间,其支点为 x 0 = 0 \boldsymbol{x}_0=\mathbf{0} x0=0

2.8.2 仿射映射

类似于我们在 2.7 节讨论的向量空间之间的线性映射,我们可以在两个仿射空间之间定义仿射映射。线性映射和仿射映射密切相关。因此,我们从线性映射中已经知道的许多性质,例如线性映射的复合(composition)是一个线性映射,也适用于仿射映射。

定义 2.26(仿射映射)。对于两个向量空间 V , W V, W V,W,一个线性映射 Φ : V → W \Phi: V \rightarrow W Φ:VW,以及 a ∈ W \boldsymbol{a} \in W aW,映射

ϕ : V → W x ↦ a + Φ ( x ) \begin{align*} \phi: V & \rightarrow W \tag{2.132} \\ \boldsymbol{x} & \mapsto \boldsymbol{a} + \Phi(\boldsymbol{x}) \tag{2.133} \end{align*} ϕ:VxWa+Φ(x)(2.132)(2.133)

是从 V V V W W W 的仿射映射。向量 a \boldsymbol{a} a 被称为 ϕ \phi ϕ 的平移向量。

  • 每一个仿射映射 ϕ : V → W \phi: V \rightarrow W ϕ:VW 也是线性映射 Φ : V → W \Phi: V \rightarrow W Φ:VW W W W 中的平移 τ : W → W \tau: W \rightarrow W τ:WW 的复合,使得 ϕ = τ ∘ Φ \phi = \tau \circ \Phi ϕ=τΦ。映射 Φ \Phi Φ τ \tau τ 是唯一确定的(uniquely determined)。
  • 仿射映射 ϕ : V → W , ϕ ′ : W → X \phi: V \rightarrow W, \phi^{\prime}: W \rightarrow X ϕ:VW,ϕ:WX 的复合 ϕ ′ ∘ ϕ \phi^{\prime} \circ \phi ϕϕ 是仿射的。
  • 如果 ϕ \phi ϕ 是双射的,仿射映射保持几何结构不变。它们还保留维度和平行性。
  • 16
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 数学对机器学习具有重要的指导作用。机器学习是一种利用计算机算法来解决问题并自动改进的方法。数学作为机器学习的基础,为我们提供了理论和工具,帮助我们理解和解决许多机器学习问题。 首先,线性代数机器学习中起着关键作用。线性代数涉及矩阵和向量的运算,而这些在机器学习中经常被用来表示数据和模型。通过线性代数,我们可以理解和操作数据集,推导和求解机器学习模型。 其次,微积分在机器学习中也非常重要。微积分涉及函数的导数和积分,而这些在优化和概率模型中扮演着重要角色。通过微积分,我们可以优化模型的参数,通过梯度下降算法来最小化损失函数,并进行机器学习模型的训练。 另外,概率论和统计学在机器学习中也扮演着重要角色。概率论帮助我们建立模型,量化不确定性,推断未知的数据。统计学则提供了评估模型性能和参数估计的方法。通过概率论和统计学,我们可以进行模型选择,避免过拟合或欠拟合,并对模型进行评估和比较。 最后,数学还有其他分支与机器学习密切相关,如图论、离散数学和信息论。图论帮助我们理解和建模复杂的关系网络。离散数学提供了解决离散问题的工具和方法。信息论则涉及消息的编码和传输,为我们提供了衡量数据的不确定性和相关性的度量方式。 总而言之,数学为机器学习提供了强大的理论基础和实用工具。它不仅帮助我们理解机器学习的原理和方法,还为我们解决实际问题提供了数学模型和算法。因此,数学是机器学习不可或缺的一部分。 ### 回答2: 数学对于机器学习非常重要。机器学习是一种通过自动学习和推理来改进系统性能的方法。它涉及到大量的数据处理、模型构建和预测分析。数学提供了机器学习的基础理论和方法。下面我会具体介绍数学在机器学习中的几个关键方面。 首先,线性代数机器学习中的基础。矩阵和向量是线性代数的基本工具,用于表示和处理数据。在机器学习中,数据通常以矩阵和向量的形式进行处理和运算。线性代数还提供了矩阵分解和特征值分析等重要技术,用于数据降维和模型优化。 其次,概率论和统计学是机器学习的核心概念。机器学习算法的设计和评估都依赖于统计学的基本方法。概率论使我们能够对不确定性进行建模,并通过统计学方法对数据进行分析和推断。这些技术可以帮助我们理解模型的性质,评估模型的性能,并做出有根据的决策。 另外,优化理论在机器学习中起着关键的作用。机器学习算法通常通过最小化或最大化某种损失函数来优化模型。优化理论提供了一系列数学方法,用于寻找最优解。这些方法可以帮助我们找到参数的最佳取值,进而提高模型的性能。 最后,微积分也是机器学习的重要工具。微积分用于解决连续域的优化问题,例如梯度下降法。梯度下降法是一种常用的优化算法,通过迭代地调整模型参数,使得损失函数逐渐减小。 总而言之,数学为机器学习提供了理论基础和实践工具。线性代数、概率论和统计学、优化理论以及微积分等数学方法在机器学习中发挥着重要的作用,帮助我们理解和解决实际问题。因此,学习数学对于理解和应用机器学习是非常重要的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值