文章目录
背景
在文献中,经常见到将向量空间中的一个元素投影到一个子空间及其正交补中的操作,但对于这个操作,在相关的文献及教材中,一般都没有解释说明,如Negahban et al. (2012)、Wainwright (2019) 的第9章和Axler (2024) 的第6.C节等,都没有讲清楚。
首先明确一下基本概念:对于向量空间 W W W中的子空间 V ⊆ W \mathcal{V} \subseteq W V⊆W,其正交补为 V ⊥ = { u ∣ u ⊥ v , ∀ v ∈ V } \mathcal{V}^\perp=\{u|u\perp v , \ \forall\ v\in \mathcal{V}\} V⊥={
u∣u⊥v, ∀ v∈V},定义某个元素 θ ∈ W \theta\in W θ∈W向 V \mathcal{V} V的正交投影为 θ V : = arg min v ∈ V ∥ θ − v ∥ \theta_\mathcal{V} := \mathop{\arg\min}\limits_{v\in \mathcal{V}} \|\theta-v\| θV:=v∈Vargmin∥θ−v∥,同理可定义 θ V ⊥ \theta_{\mathcal{V}^\perp} θV⊥。许多文献中会见到这样的分解:
θ = θ V + θ V ⊥ \theta = \theta_{\mathcal{V}} + \theta_{\mathcal{V}^\perp} θ=θV+θV⊥
由于正交的概念涉及内积,因此在该向量空间上肯定是定义了内积的,在正交投影定义中的范数为由在该向量空间上的内积诱导的范数。
问题
本文想说明这几个问题:
- 正交投影 θ V \theta_\mathcal{\mathcal{V}} θV是否唯一?
- 这样的分解是否一定存在?
- 这样的分解是否唯一?
若正交投影唯一且分解存在,即 θ V \theta_\mathcal{\mathcal{V}} θV和 θ V ⊥ \theta_{\mathcal{\mathcal{V}}^\perp} θV⊥都唯一,那么这样分解必定也是唯一的。因此,关键在于前两个问题。
我们的思路是,先说明 θ − θ V ∈ V ⊥ \theta - \theta_\mathcal{\mathcal{V}} \in \mathcal{\mathcal{V}}^\perp θ−θV∈V⊥,再说明 θ − θ V \theta - \theta_\mathcal{\mathcal{V}} θ−θV恰好就是 θ \theta θ向 V ⊥ \mathcal{\mathcal{V}}^\perp V⊥上的正交投影即 θ V ⊥ \theta_{\mathcal{\mathcal{V}}^\perp} θV⊥,最后说明 θ V \theta_\mathcal{\mathcal{V}} θV是唯一的。
解答
第1步: θ − θ V ∈ V ⊥ \theta - \theta_\mathcal{\mathcal{V}} \in \mathcal{\mathcal{V}}^\perp θ−θV∈V⊥
只需说明对于任意 u ∈ V u\in \mathcal{\mathcal{V}} u∈V, < θ − θ V , u > = 0 <\theta - \theta_\mathcal{\mathcal{V}}, u>=0 <θ−