泛函分析 03.02 内积空间与Hilbert空间-正交与正交分解

$\color{blue}{\S 3.2 正交与正交分解}$

$\color{blue}{3.2.1 正交的定义}$

$希望把n维欧氏空间中更多的几何性质“推广”到一般的内积空间.$
$在实的内积空间中, 如果 x \neq 0, y \neq 0, 由 Schwarz 不等式$
$\qquad |(x, y)| ^2 \leq (x, x)(y, y),$
$我们有 \quad -1 \leq \dfrac{(x, y)}{\Vert x \Vert \Vert y \Vert} \leq 1.$
$x 和 y 之间的“夹角”可以理解为$
$\qquad \theta = \cos^{-1} (\dfrac{(x, y)}{\Vert x \Vert \Vert y \Vert})$
$在内积空间, 我们可以类似于n维欧氏空间, 当$
$(x, y) = 0 时, 定义元素x 和 y 正交.$

$\color{blue}{定义3.2.1 设X是内积空间, x, y \in X, 若 (x, y) = 0, 则称x 与 y 正交, 记为 x \perp y.}$

$定理3.2.2 (勾股定理) 设X是内积空间, x, y, z \in X,$
$x = y + z 且 y \perp z, 则$
$\qquad \Vert x \Vert ^2 = \Vert y \Vert ^2 + \Vert z \Vert ^2 \quad (3.2.1)$
$证明: \Vert x \Vert ^2 = (y + z, y + z)$
$\qquad = (y, y) + (z, y) + (y, z) + (z, z)$
$\qquad = \Vert y \Vert ^2 + \Vert z \Vert ^2$

$元素正交于集合的概念:$
$定理3.2.3 设X是内积空间, M \subset X, x \in X, 如果对$
$于任意的 y \in M, 有(x, y) = 0, 则称 x 正交于 M, 记为 x \perp M.$

$集合与集合正交的概念:$
$定义3.2.4 设X是内积空间, M 和 N 是 X 中的两个$
$子集, 如果对于任意的 x \in M, y \in N, 有 (x, y) = 0,$
$则称 M 正交于 N, 记为 M \perp N.$

$\color{blue}{3.2.2 正交补集}$

$定义 3.2.5 设M是内积空间X的子集, 则 X 中所有与$
$M正交的元素组成的集合称为 M 的正交补, 记为 M^{\perp}$
$\qquad M^{\perp} = \lbrace y \in X | (x, y) = 0, \forall x \in M \rbrace \quad (3.2.2)$

$定理 3.2.6 设X是内积空间, M 是 X 的子集, 则$
$(1) 0 \in M^{\perp}.$
$(2) 如果 0 \in M, 那么 M \cap M^{\perp} = \lbrace 0 \rbrace, 否则 M \cap M^{\perp} = \emptyset$
$(3) \lbrace 0 \rbrace ^{\perp} = X, X^{\perp} = \lbrace 0 \rbrace.$
$(4)如果M \supset B(a, r), 其中B(a, r)是以 a \in X为中的,$
$以r为半径的开球, 那么 \quad M^{\perp} = \lbrace 0 \rbrace.$
$如果M是一个非空的开集, 则 \quad M^{\perp} = \lbrace 0 \rbrace.$
$(5) 如果 N \subset M, 那么 M^{\perp} \subset N^{\perp}.$
$(6) M \subset (M^{\perp})^{\perp}.$

$定理 3.2.7 设X是内积空间, M 是 X 的任意子集, 则 M^{\perp}是X中的闭子空间.$
$分析: 先证明 M^{\perp}是子空间, 再证明它是闭的.$
$要证明 M^{\perp} 闭, 需证对任何 \lbrace x_n \rbrace \subseteq M^{\perp}, x_n \to x (n \to \infty),$
$都有 x \in M^{\perp}(即对\forall z \in M, 有(x, z) = 0).$
$证明(1) 证明 M^{\perp} 是子空间.$
$任取 x \in M^{\perp}, y \in M^{\perp}, 以及 \alpha, \beta \in \mathbb{K},$
$则对于任意的 z \in M,$
$\qquad (\alpha x + \beta y, z) = \alpha(x, z) + \beta(y, z) = 0,$
$因此 \alpha x + \beta y \in M^{\perp}, 即 M^{\perp} 是 X 的子空间.$
$(2) 证明 M^{\perp} 是闭的.$
$如果 \lbrace x_n \rbrace \subseteq M^{\perp}, 且 x_n \to x (n \to \infty),$
$则对于任意的 z \in M, 由内积的连续性可得$
$\qquad (x, z) = (\lim \limits_{n \to \infty} x_n, z) = \lim \limits_{n \to \infty}(x_n, z) = 0.$
$因此 x \in M^{\perp}, 所以 M^{\perp}是闭子空间.$
$注: M 是 X 的子集, M不一定是子空间,但是M^{\perp}是X的闭子空间.$

$定理 3.2.8 设M是内积空间X的一个线性子空间, 则$
$x \in M^{\perp} 当且仅当对 \forall y \in M, 有 \Vert x - y \Vert \geq \Vert x \Vert.$

$证明:“\Rightarrow” 因为 x \in M^{\perp}, y \in M, 由定理 3.2.2, 有$
$\Vert x-y \Vert ^2 = \Vert x + (-y) \Vert ^2 = \Vert x \Vert ^2 + \Vert y \Vert ^2 \geq \Vert x \Vert ^2.$
$“\Leftarrow” 要证明：若对于 x \in X, \forall y \in M, 有$
$\qquad \Vert x - y \Vert \geq \Vert x \Vert,$
$则 x \in M^{\perp}.$
$设 M 是 X 的线性子空间, 且对于 x \in X, 有$
$\qquad \Vert x - y \Vert \geq \Vert x \Vert, \forall y \in M.$
$由 M 是线性子空间知, 对 \forall t \neq 0(t \in \mathbb{R}), 有 ty \in M.$
$从而得到 \Vert x - ty \Vert ^2 \geq \Vert x \Vert ^2.$
$再根据内积的定义$
$\Vert x - ty \Vert ^2 = \Vert x \Vert ^2 - t(x, y) - t(y, x) + t^2 \Vert y \Vert ^2$
$于是 0 \leq -2t Re(x, y) + t^2 \Vert y \Vert^2.$
$故 2t Re(x, y) \leq t^2 \Vert y \Vert ^2 .$
$\qquad \forall t > 0, 我们有 Re(x, y) \leq \dfrac{1}{2} t \Vert y \Vert ^2.$
$由 t 的任意性, 可得 Re(x, y) \leq 0.$
$\qquad \forall t < 0, 我们有 Re(x, y) \geq \dfrac{1}{2} t \Vert y \Vert ^2.$
$由 t 的任意性, 可得 Re(x, y) \geq 0. 故 Re(x, y) = 0.$
$同样的，我们以 it 代替 t, 可得 Im(x, y) = 0.$
$从而 (x, y) = 0, 即 x \perp y.$

$\color{blue}{3.2.3 最佳逼近}$

$在 1.3节定义 1.3.12 中, 我们定义了一点 x 到一个集合$
$A的距离 d(x, A):$
$\qquad d(x, A) = \inf \lbrace (d(x, y) | y \in A \rbrace$
$如果存在点 x_0 \in A, 使得:$
$\qquad \Vert x - x_0 \Vert = d(x, A).$
$则称 x_0 是x在集合A中的\color{blue}{最佳逼近点},$
$即 x_0 是集合中与 x “最接近的点”.$
$这样的点是否存在, 存在的话是否唯一, 是一个在理论上$
$和应用上都十分重要的问题.$
$在 Hilbert 空间, 最佳逼近的问题相对比较简单.$

$定义 3.2.9 一个赋范空间X称为是\color{blue}{严格凸的}, 如果对于任意的$
$x, y \in X, x \neq y, 并且 \Vert x \Vert = \Vert y \Vert = 1, 都有$
$\qquad \Vert \alpha x + \beta y \Vert < 1 \quad (\forall \alpha, \beta > 0, \alpha + \beta = 1).$

$\color{blue}{定理 3.2.10 内积空间是严格凸的赋范空间.}$
$分析：利用严格凸赋范空间的定义来证明.$
$证明：设X是内积空间. 任给 0 < \lambda < 1, x, y \in X,$
$\Vert x \Vert = \Vert y \Vert =1, 且 x \neq y,$
$(1) 当 x = - y 时,$
$\Vert \lambda x + (1 -\lambda) y \Vert = \Vert 2 \lambda y - y \Vert$
$\qquad = | 2 \lambda - 1| \Vert y \Vert = |2 \lambda - 1| < 1$
$(2) 当x = \alpha y, |\alpha| = 1, \alpha \neq \pm 1 时,$
$\qquad \Vert \lambda x + (1 -\lambda) y \Vert = \Vert \lambda \alpha y + (1-\lambda) y \Vert$
$\qquad = | \alpha \lambda + (1 - \lambda)| \Vert y \Vert = |\alpha \lambda + (1 - \lambda)|$
$\qquad < |\alpha \lambda| + |1 - \lambda| = \lambda + 1 - \lambda = 1.$
$(3) 当 x \neq \alpha y, \forall \alpha \in \mathbb{C} 时, Schwarz 不等式中的不等$
$号严格成立$
$\qquad |(x, y)|^2 < (x, x)(y, y),$
$注意到 Re(x, y) \leq |Re(x, y)| \leq |(x, y)| < \Vert x \Vert \Vert y \Vert = 1,$
$我们有$
$\Vert \lambda x + (1 - \lambda) y \Vert ^2$
$= \lambda^2 \Vert x \Vert ^2 + 2 \lambda(1 - \lambda) Re(x, y) + (1 - \lambda)^2 \Vert y \Vert ^2$
$= \lambda^2 + 2 \lambda(1 - \lambda) Re(x, y) + (1 - \lambda)^2 < [\lambda + (1 - \lambda)]^2 = 1.$
$注: 不是所有的赋范空间都是严格凸的, 例如 C[a, b]就不是严格凸的.$
$对于严格凸的 Hilbert 空间, 我们有:$

$定理3.2.11 设M是 Hilbert 空间 H 中的非空闭凸集,$
$则对于任意的 x \in H, 存在唯一的最佳逼近点 x_0 \in M, 使得$
$\qquad \Vert x - x_0 \Vert = d(x, M) = \inf \lbrace \Vert x - y \Vert | y \in M \rbrace.$
$证明: (i) 证明存在性.$
$不妨假定 M 是 H 的真子集, 并且 x \overline \in M.$
$(1) 记 \alpha = \inf \limits_{y \in M} \lbrace \Vert x - y \Vert \rbrace. 于是存在 \lbrace x_n \rbrace \subset M, 使得$
$\qquad \Vert x_n - x \Vert \to \alpha (n \to \infty) \quad (3.2.3)$
$(2) 由于 M 是凸集. 对于任意的自然数 m, n, 有:$
$\qquad \dfrac{x_m + x_n}{2} \in M,$
$因此\quad \Vert x - \dfrac{x_m + x_n}{2} \Vert \geq \alpha \quad (3.2.4)$
$(3) 由平行四边形法则, 结合(3.2.3)(3.2.4)式可得$
$\Vert x_m - x_n \Vert ^2 = 2 \Vert x_m - x \Vert ^2 + 2\Vert x - x_n \Vert ^2 - 4 \Vert x - \dfrac{x_m + x_n}{2} \Vert ^2$
$\qquad \leq 2 \Vert x_m - x \Vert ^2 + 2 \Vert x - x_n \Vert ^2 - 4 \alpha^2.$
$(4) 所以当 m,n \to \infty 时,$
$\qquad \Vert x_m - x_n \Vert ^2 \to 0,$
$即 \lbrace x_n \rbrace 是 M 中的 Cauchy 列.$
$(5)由于 H 是 Hilbert 空间, M 是闭的, 于是存在 x_0 \in M, 使得$
$\qquad x_n \to x_0 (n \to \infty)$
$于是 \Vert x_n - x \Vert \to \alpha (n \to \infty), 且范数是连续的, 有$
$\qquad \Vert x_0 - x \Vert = \alpha.$
$(ii) 唯一性, 用反证法.$
$依然加上 x \overline \in M, 由于 M 是闭集,$
$\qquad \alpha = \inf \limits_{y \in M} \Vert x - y \Vert > 0$
$假如最佳逼近点不唯一, 即存在 y_0 \in M, y_0 \neq x_0, 且$
$\qquad \Vert x - y_0 \Vert = \alpha$
$(1) 我们可推出 \dfrac{1}{2}(x_0 + y_0) 也是最佳逼近点. 事实上:$
$\Vert x - \dfrac{1}{2}(x_0 +y_0) \Vert = \Vert \dfrac{1}{2}(x - x_0) + \dfrac{1}{2}(x - y_0) \Vert$
$\qquad \leq \dfrac{1}{2} \Vert x - x_0 \Vert + \dfrac{1}{2} \Vert x - y_0 \Vert = \alpha$
$于是由 M 是凸的, \dfrac{x_0 + y_0}{2} \in M, 由 \alpha 的定义有$
$\qquad \Vert x - \dfrac{1}{2}(x_0 + y_0) \Vert = \alpha \quad (3.2.5)$
$即 \dfrac{1}{2}(x_0 + y_0) 也是最佳逼近点.$
$(2) 考虑 \dfrac{x - x_0}{\alpha} 和 \dfrac{x - y_0}{\alpha}, 显然 \Vert \dfrac{x - x_0}{\alpha} \Vert = \Vert \dfrac{x - y_0}{\alpha} \Vert = 1, 并且$
$\Vert \dfrac{1}{2}(\dfrac{x - x_0}{\alpha}) + \dfrac{1}{2}(\dfrac{x - y_0}{\alpha}) \Vert = \dfrac{1}{\alpha} \Vert x - \dfrac{x_0 + y_0}{2} \Vert = \dfrac{1}{\alpha} \cdot \alpha = 1.$
$与 Hilbert 空间严格凸矛盾.唯一性得证.$
$注1：定理3.2.11 说明,$
$当M是 Hilbert 空间H中的非空的闭的凸集,$
$x \in H, 则存在唯一确定的点 x_0 \in M, 与x的距离最近.$
$进一步当M是 Hilbert 空间 H 中的闭子空间, 结论显然成立.$
$注2：但是对于一般的闭集, 最佳逼近点可能是不唯一的.$
$例如M是平面上的一个圆周, x 是圆心, 那么x到集合M$
$最近的点y可以是圆周上的任意一点, 不是唯一的.$
$注3：从证明中可以看到,$
$在赋范空间对于非空闭的凸集M, 最佳逼近点如果存在,$
$最佳逼近点的全体也是一个凸集(见(3.2.5)式).$
$在严格凸的赋范空间中, 对于非空闭的凸集M, 最佳逼近点$
$如果存在, 最佳逼近点是唯一的.$
$注4：在一般的无穷维的赋范空间X中:$
$如果M是X的有限维子空间, 则对于x \in X, x 在 M$
$中存在最佳逼近点.$
$但对一般非空闭的凸子集M, 最佳逼近点可能不存在;即$
$使存在, 也未必唯一.$
(参阅 汪林 《泛函分析中的反例》p.51)

$\color{blue}{3.2.4 Hilbert 空间的正交分解}$

$三维欧氏空间可以分解为三个一维子空间的正交和,$
$使问题的处理变得更加简单.$
$我们希望把这一想法推广到一般的 Hilbert 空间.$

$定理 3.2.12 (正交分解定理) 设 H 是 Hilbert 空间, M 是 H 中的闭子空间,$
$则对于任意的 x \in H, 存在唯一的 x_0 \in M 以及 y \in M^{\perp}, 使得$
$\qquad \quad x = x_0 + y \quad (3.2.6)$
$并且\quad \Vert x \Vert ^2 = \Vert x_0 \Vert ^2 + \Vert y \Vert ^2 \quad (3.2.7)$
$证明:$
$(i) 存在性.$
$(1) 因为M 是 Hilbert 空间 H 的闭子空间(凸集), 因此由定理3.2.11,$
$对于任意的x \in H, 存在最佳逼近点 x_0 \in M, 使得$
$\qquad \Vert x - x_0 \Vert = d(x, M) = \inf \limits_{z \in M} \lbrace \Vert x - z \Vert \rbrace.$
$(2) 令 y = x - x_0, 下面要证明 y \in M^{\perp}.$

$对于任意 z \in M, 有 \Vert y - z \Vert = \Vert x - (x_0 + z) \Vert \geq \Vert x - x_0 \Vert = \Vert y \Vert$
$根据定理 3.2.8, y \in M^{\perp}.$
$即: 存在 x_0 \in M 及 y \in M^{\perp}, 使得 x = x_0 + y.$
$(ii) 唯一性, 用反之法来证明.$
$如果还有x = x_0^{\prime} + y^{\prime}, 其中 x_0^{\prime} \in M, y^{\prime} \in M^{\perp}.$
$结合 x = x_0 + y, 我们有 x_0^{\prime} - x_0 = y^{\prime} - y.$
$于是$
$\qquad y^{\prime} - y \in M^{\prime} \cap M^{\perp} = \lbrace 0 \rbrace,$
$所以 y^{\prime} = y, 且 x_0^{\prime} = x.$
$(3) 由于 x_0 \in M 和 y \in M^{\perp}, 根据勾股定理 3.2.2, 可知$
$\qquad \Vert x \Vert ^2 = \Vert x_0 \Vert ^2 + \Vert y \Vert ^2$
$成立.$
$注1：M是H的真闭线性子空间.$
$\forall x \in H(x \overline \in M), 存在唯一的 x_0 \in M 使得$
$\qquad x = x_0 + y, 这里的 x_0 \in M, y \in M^{\perp}.$
$x_0 称为 x 在M上的投影.$
$x_0 是 x 在 M 中最佳逼近点, (x - x_0) \perp M.$
$\qquad H = M \oplus M^{\perp},$
$其中 \oplus 表示两个子空间的正交直接和.$
$(2) 在 Hilbert 空间 H 中, 当M是H的真闭子空间时,$
$可把定理的结论与 Riesz 引理 (2.3.12)相对照.$
$Riesz 引理: X_0 \subset X, 且 X_0 是X的真闭子空间, 则对于 \forall \varepsilon > 0,$
$存在 y \in X, 使得 \Vert y \Vert = 1, 且对于 \forall z \in X_0, \Vert y - z \Vert > 1 - \varepsilon.$
$在 Hilbert 空间中, 由于 X_0 是 H 的真闭子空间, 根据定理3.2.12,$
$存在 y \in X_0^{\perp}, 不妨设 \Vert y \Vert = 1,$
$由定理 3.2.8，y \in X_0^{\perp}, 当且仅当对任意的 z \in X_0 都$
$有 \Vert y - z \Vert \geq \Vert y \Vert.$
$即 d(y, X_0) \geq \Vert y \Vert.$
$由于 X_0 是子空间, 所以 0 \in X_0, 于是$
$\qquad d(y, X_0) = \Vert y \Vert.$
$也就是说, 在 Hilbert 空间 H 中, 若 X_0 是 H 的真闭子空间,$
$则存在 y \in X, \Vert y \Vert = 1, (事实上, y \in X_0^{\perp}), 且$
$\qquad d(y, X_0) = \Vert y \Vert = 1.$
$即 Riesz 引理中的结论 “> 1 - \varepsilon” 可加强为 “\geq 1”.$

$定理 3.2.13 设 X_0 是 Hilbert 空间 H 中的一个闭线性子空间, 则 X_0^{\perp \perp} = X_0.$
$证明:(1)根据定理3.2.6 (6) 有: X_0 \subset X_0^{\perp \perp}.$
$(2) 设 x \in X_0^{\perp \perp}, 要证 x \in X_0.$
$根据正交分解定理(定理3.2.12),$
$\qquad x = x_0 + y, 其中 x_0 \in X_0, y \in X_0^{\perp}.$
$由 y \in X_0^{\perp}, x \in X_0^{\perp \perp}, 我们有(x, y) = 0. 于是$
$\qquad 0 = (x, y) = (x_0 + y, y) = (x_0, y) + (y, y) \quad (3.2.8)$
$因为 x_0 \in X_0, y \in X_0^{\perp}, 故(x_0, y) = 0.$
$于是 (3.2.8) 式意味着 \Vert y \Vert = 0.$
$故 y = 0, 从而 x = x_0 \in X_0. 因此 X_0^{\perp \perp} = X_0.$
$由上述定理和定理3.2.7、定理3.2.6 容易证得:$

$命题 3.2.14 设 X_0 是 Hilbert 空间 H 中的一个线性子空间, 则$
$(1) X_0^{\perp \perp} = \overline{X_0}, 其中 \overline{X_0} 是 X_0 的闭包;$
$(2) X_0^{\perp} = \lbrace 0 \rbrace 当且仅当 X_0 在 H 中稠密.$