泛函分析 03.03 内积空间与Hilbert空间 - 正交系和正交投影

$\color{blue}{\S 3.3 正交系和正交投影}$

$在n维欧氏空间, 选定n个相互正交的向量 e_1, e_2, \cdots, e_n,$
$则形成n维空间中的一组正交基, 即$
$\qquad 在空间中建立了一组正交坐标系.$
$空间中任意一个元素都可以由这组坐标的线性组合表示$
$\qquad x = \alpha_1 e_1 + \alpha_2 e_2 + \cdots + \alpha_n e_n,$
$其中 \alpha_i = (x, e_i), i = 1, 2, \cdots, n 是x在 e_i 上的投影.$
$并且 向量的长度$
$\qquad \Vert x \Vert = (\sum \limits_{i=1}^n | (x, e_i) |^2 )^{\frac{1}{2}}.$
$\color{blue}{元素的正交性在内积空间和Hilbert空间中扮演着重要角色.}$
$本节目标：$
$在一般的内积空间中也类似地引入正交系、投影、元素$
$按正交投影分解这些十分重要的概念,$
$建立起一套完整的空间正交坐标系, 正交投影分解(Fourier展开)理论.$

$\color{blue}{3.3.1 内积空间中的正交系}$

$先给出正交系和标准正交系的概念.$
$定义 3.3.1 设 \lbrace x_{\alpha} \rbrace _{\alpha \in I} 是内积空间X中由非零元素组$
$成的集合. 如果当\alpha \neq \beta 时, (x_{\alpha}, x_{\beta}) = 0, 则称$
$\lbrace x_n \rbrace _{\alpha \in I} 是X中的一个正交系.$
$若 \Vert x_{\alpha} \Vert = 1, \forall \alpha \in I, 称 \lbrace x_{\alpha} \rbrace 是一个标准正交系.$
$在内积空间中, 正交系是线性无关的, 见下述定理.$

$定理 3.3.2 设 \lbrace e_1, \cdots, e_k \rbrace 是内积空间X中的正交系,$
$则 \lbrace e_1, \cdots, e_k \rbrace 是线性无关的. 若 X 是 k 维的, 且$
$\lbrace e_1, \cdots, e_k \rbrace 是标准正交系, 则任何的 x \in X 都可以表$
$示为 x = \sum \limits_{n=1}^k(x, e_n) e_n.$
$分析:设 \alpha_1 e_1 + \cdots + \alpha_k e_k = 0, 要证明 \lbrace e_1, \cdots, e_k \rbrace 线性无关,$
$即证明 \alpha_i = 0 (i = 1, \cdots, k).$
$注意到 \lbrace e_1, \cdots, e_k \rbrace 是正交系,根据正交系的定义, 可考虑对$
$方程两边作内积.$
$证明:(1) 对于\lbrace e_1, \cdots, e_k \rbrace 考虑方程$
$\qquad \alpha_1 e_1 + \cdots + \alpha_k e_k = 0.$
$两边对 e_m(m = 1, \cdots, k)作内积, 由于 \lbrace e_1, \cdots, e_k \rbrace$
$是正交系, 我们有$
$0 = (\sum \limits_{n=1}^k \alpha_n e_n, e_m) = \sum \limits_{n=1}^k \alpha_n(e_n, e_m) = \alpha_m (e_m, e_m).$
$由 e_m \neq 0 可知 \alpha_m = 0. 故 \lbrace e_1, \cdots, e_k \rbrace 是线性无关的.$
$(2) 如果X是k维的, 且 \lbrace e_1, \cdots, e_k \rbrace 是标准正交系.$
$因为 \lbrace e_1, \cdots, e_k \rbrace 是线性无关的, 则对于任何的 x \in X$
$都可以表示为 \lbrace e_1, \cdots, e_k \rbrace 的线性组合. 即:$
$\qquad x = \sum \limits_{n=1}^k \lambda_n e_n.$
$两边对 e_m (m = 1, \cdots, k) 作内积, 有$
$(x, e_m) = (\sum \limits_{n=1}^k \lambda_n e_n, e_m) = \sum \limits_{n=1}^k \lambda_n(e_n, e_m) = \lambda_m,$
$从而命题得证.$
$注：从证明中可以看到,$
$如果空间中的一个元素x能表示成一个标准正交系\lbrace e_1, \cdots, e_k \rbrace 的线性组合.$
$则e_n前的系数为\alpha_n = (x, e_n)(x在e_n上的投影).$
$这显示出标准正交系比一般的线性无关集在元素的分解上$
$的方便之处, 这也是我们更关注正交分解的重要原因.$

$命题 3.3.3 设 \lbrace x_{\alpha} \rbrace _{\alpha \in I} 是内积空间 X 中的一个正交系,$
$则\lbrace x_{\alpha} \rbrace _{\alpha \in I}是线性无关的.$
$证明思路: 在无穷维空间, 根据线性无关集的定义(M称为是线性无关$
$的, 如果M中的任何非空有限子集都是线性无关的(见附录II定义$
$II.7)), 有定理 3.3.2 知内积空间中的任意正交系是线性无关的.$
$在内积空间里, 正交系不是唯一的.$

$例 3.3.4 在 L^2[-1, 1] 中, 定义内积为:$
$\qquad (x, y) = \int_{-1}^{1} x(t) \overline{y(t)} dx,$
$其中 x = x(t), y = y(t) \in L^2[-1, 1].$
$容易验证 \lbrace 1, \cos \pi t, \sin \pi t, \cdots, \cos k \pi t, \sin k \pi t, \cdots \rbrace$
$是 L^2 [-1, 1] 中的正交系.$
$在绪论例 0.1.6 中我们研究的 Legendre 方程$
$\left \lbrace \begin{array}{l} -(1 - x^2) y^{\prime \prime} + 2x y^{\prime} = \lambda y, \quad (-1 < x < 1) \\ y(1) < \infty, \\ y(-1) < \infty . \end{array} \right.$

$特征值为: \lambda_n = n(n+1) (n = 1, 2, \cdots),$
$特征函数为: P_n = \dfrac{1}{2^n n!} \dfrac{d^n}{d x^n}(x^2 - 1)^n.$
$我们称P_n为Legendre多项式, 通过分部积分可以验证它们满足$
$\qquad \int_{-1}^{1} P_n(x) \overline{P_m(x)} dx = 0 (m \neq n).$
$即 Legendre 多项式也是 L^2[-1, 1] 上的正交系.$

$\color{blue}{3.3.2 正交投影}$

$定理 3.3.5 设 \lbrace e_k \rbrace _{k=1}^n 是内积空间 X 中的标准正交系,$
$x \in X, a_1, \cdots, a_n 是n个数, 当且仅当 a_k = (x, e_k)$
$(k = 1, 2, \cdots, n)时,$
$\qquad \Vert x - \sum \limits_{k=1}^n a_k e_k \Vert$
$取得最小值.$
$证明 由于 \lbrace e_k \rbrace _{k=1}^n 是标准正交系, 对每一个 e_i,$
$\qquad (x - \sum \limits_{k=1}^n (x, e_k)e_k, e_i) = (x, e_i) - (x, e_i) = 0,$
$即 x - \sum \limits_{k=1}^n (x, e_k)e_k 和 e_i(i = 1, 2, \cdots, n)正交.$
$应用勾股定理, 有$
$\qquad \Vert x - \sum \limits_{k=1}^n a_k e_k \Vert ^2$
$\qquad = \Vert x - \sum \limits_{k=1}^n(x, e_k)e_k + \sum \limits_{k=1}^n((x, e_k) - a_k)e_k \Vert ^2$
$\qquad = \Vert x - \sum \limits_{k=1}^n (x, e_k)e_k \Vert ^2 + \Vert \sum \limits_{k=1}^n ((x, e_k) - a_k)e_k \Vert ^2$
$\qquad = \Vert x - \sum \limits_{k=1}^n (x, e_k)e_k \Vert ^2 + \sum \limits_{k=1}^n |(x, e_k) - a_k |^2$
$所以当且仅当 a_k = (x, e_k)(k = 1, 2, \cdots, n) 时,$
$\Vert x - \sum \limits_{k=1}^n a_k e_k \Vert 取最小值.$
$注1：从证明中看到 x - \sum \limits_{k=1}^n (x, e_k)e_k 和 \lbrace e_1, e_2, \cdots, e_n \rbrace$
$张成的子空间M正交.$

$注2：称x_0 = \sum \limits_{k=1}^n (x, e_k) e_k 为x在M上的投影. x到M的距离为\Vert x - x_0 \Vert.$

$\color{blue}{3.3.3 Fourier 级数}$

$例 3.3.6 设 x(t) 是 [-\pi, \pi] 上连续可微的函数, 且 x(-\pi) = x(\pi).$
$在数学分析中, x(t) 可展成它的 Fourier 级数, 而且这个 Fourier 级数$
$一致收敛到 x(t). 即$
$\quad x(t) = \dfrac{a_0}{2} + \sum \limits_{k=1}^{\infty} a_k \cos kt + b_k \sin kt \quad (3.3.1)$
$其中：$
$\dfrac{a_0}{2} = \dfrac{1}{2 \pi} \int_{-\pi}^{\pi} x(t) dt,$
$a_k = \dfrac{1}{\pi} \int_{-\pi}^{\pi} x(t) \cos kt dt,$
$b_k = \dfrac{1}{\pi} \int_{-\pi}^{\pi} x(t) \sin kt dt.$

$在内积(Hilbert)空间L^2[-\pi, \pi]中,$
$我们重新审视上面的Fourier级数:$
$命题 3.3.7 在线性空间 L^2[-\pi, \pi]中定义内积$
$\qquad (x, y) = \int_{-\pi}^{\pi} x(t) \overline{y(t)} dt.$
$则三角函数系:$
$\lbrace e_n \rbrace = \lbrace \dfrac{1}{\sqrt{2 \pi}}, \dfrac{1}{\sqrt{\pi}} \cos t, \dfrac{1}{\sqrt{\pi}} \sin t, \cdots, \dfrac{1}{\sqrt{\pi}} \cos kt, \dfrac{1}{\sqrt{\pi}} \sin kt, \cdots \rbrace (3.3.2)$
$是L^2[-\pi, \pi] 中的标准正交系(直接计算可证).$
$(事实上它们是一组标准正交基)$

$在例3.3.6中, Fourier 展开的系数为:$
$\dfrac{a_0}{2} = \dfrac{1}{2 \pi} \int_{-\pi}^{\pi} x(t) dt = \dfrac{1}{\sqrt{2\pi}}(x, \dfrac{1}{\sqrt{2 \pi}});$
$a_k = \dfrac{1}{\pi} \int_{-\pi}^{\pi} x(t) \cos kt dt = \dfrac{1}{\sqrt{\pi}} (x, \dfrac{1}{\sqrt{\pi}} \cos kt);$
$b_k = \dfrac{1}{\pi} \int_{-\pi}^{\pi} x(t) \sin kt dt = \dfrac{1}{\sqrt{\pi}} (x, \dfrac{1}{\sqrt{\pi}} \sin kt);$
$于是 (3.3.1) 式中 x(t) 的 Fourier 展开可以写成:$
$x(t) \sim (x, \dfrac{1}{\sqrt{2 \pi}}) \dfrac{1}{\sqrt{2 \pi}} + \sum \limits_{k=1}^{\infty} (x, \dfrac{1}{\sqrt{\pi}} \cos kt) \dfrac{1}{\sqrt{\pi}} \cos kt + (x, \dfrac{1}{\sqrt{\pi}} \sin kt) \dfrac{1}{\sqrt{\pi}} \sin kt,$
$即 x 可以按其在每个坐标上的投影(x, e_k) (k = 1, 2, \cdots)来进行分解:$
$\qquad x(t) \sim \sum \limits_{k=1}^{\infty}(x, e_k)e_k \quad (3.3.3)$
$下面在一般的内积空间中, 我们考虑在标准正交系上的正交投影和Fourier 展开.$

$定义 3.3.8 设 \lbrace e_n \rbrace _{n=1}^{\infty} 是内积空间 X 中的标准正交系.$
$对于 x \in X, 我们称$
$\qquad \sum \limits_{n=1}^{\infty} (x, e_n)e_n$
$为x 关于 \lbrace e_n \rbrace 的 Fouriere级数,$
$(x, e_n) 称为 x 关于 \lbrace e_n \rbrace 的 Fourier 系数.$
$注：Fourier 级数给出了内积空间中 x 在标准正交系下的$
$“坐标分解”：\sum \limits_{n=1}^{\infty} (x, e_n)e_n,$
$其中 \lbrace e_n \rbrace _{n=1}^{\infty} 是任意给定的一组标准正交系, 并不一定$
$是例3.3.6中的三角函数系.$
$Fourier 系数 (x, e_n) 是 x 在 \lbrace e_n \rbrace 上的正交投影.$

$下面我们将在内积空间中讨论:$
$(1) 在什么情况下, 定义 3.3.8 中x的 Fourier 级数 \sum \limits_{n=1}^{\infty} (x, e_n)e_n 收敛?$
$(2) 如果收敛, 是什么意义下(按范数)收敛?$
$(3)如果收敛, 级数是否收敛到x?$

$\color{blue}{3.3.4 Bessel 不等式和Fourier级数的收敛性}$

$一般来说内积空间中的正交系 \lbrace x_a \rbrace _{a \in I}可能是不可数集.$
$下面仅讨论由可数多个元素组成的正交系,即:$
$\qquad 可数正交列 \lbrace x_n \rbrace _{n=1}^{\infty}.$

$定理 3.3.9 (Bessel 不等式) 设 \lbrace e_k \rbrace _{k=1}^{\infty} 是内积空间 X$
$中的标准正交列, 则对于任意的 x \in X, 有$
$\qquad \sum \limits_{k=1}^{\infty} |(x, e_k)|^2 \leq \Vert x \Vert ^2 \qquad(3.3.4)$
$分析: 由范数和内积的关系,以及正交列的定义即可证明.$
$证明: 由于对于任意的n,$
$\Vert x - \sum \limits _{k=1}^n (x, e_k)e_k \Vert ^2 = (x - \sum \limits_{k=1}^n (x, e_k)e_k, x - \sum \limits_{k=1}^n(x, e_k)e_k)$
$= (x, x) - \sum \limits_{k=1}^n(x, e_k)(e_k, x) - \sum \limits_{k=1}^n \overline{(x, e_k)}(x, e_k) + \sum \limits_{k=1}^n |(x, e_k)|^2$
$= \Vert x \Vert ^2 - \sum \limits_{k=1}^n (x, e_k)(e_k, x) = \Vert x \Vert ^2 - \sum \limits_{k=1}^n |(x, e_k)|^2 \geq 0,$
$于是 \quad \sum \limits_{k=1}^n |(x, e_k)|^2 \leq \Vert x \Vert ^2.$
$令 n \to \infty, 即得结论$
$\qquad \sum \limits_{k=1}^{\infty} |(x, e_k)|^2 \leq \Vert x \Vert ^2.$
$注：与标准正交列相对应的 Fourier 系数是平方和的,$
$其和小于或等于 \Vert x \Vert ^2.$

$命题 3.3.10 设 \lbrace e_n \rbrace _{n=1}^{\infty} 是内积空间 X 中的标准正交列,$
$则对于任意的 x \in X, 有$
$\qquad (x, e_n) \to 0 (n \to \infty)$
$证明：由(3.3.4) 式和正项级数收敛的必要条件知, 对于任意$
$的 x \in X, 有 (x, e_n) \to 0 (n \to \infty)$
$注: 以后将看到, 若\lbrace e_n \rbrace _{n=1}^{\infty} 是内积空间X中的标准正交列，对于任意$
$的x \in X, 有$
$\qquad (x, e_n) \to 0 (n \to \infty)$
$意味着 \lbrace e_n \rbrace 弱收敛到 0 (e_n \stackrel{\omega}{\to} 0).$

$推论 3.3.11 (Riemann - Lebesgue 引理)$
$设 x(t) \in L^2[-\pi, \pi], 那么$
$\qquad \left. \begin{array}{l}\lim \limits_{n \to \infty} \int_{-\pi}^{\pi} x(t) \sin nt dt = 0, \\ \lim \limits_{n \to \infty} \int_{-\pi}^{\pi} x(t) \cos nt dt = 0 \end{array} \right. \quad (3.3.5)$
$证明: 由命题 3.3.7, 我们知道 \lbrace \sin nt \rbrace, \lbrace \cos nt \rbrace 是$
$L^2[-\pi, \pi] 的标准正交列, 又由命题 3.3.10 可知 x(t) 的$
$Fourier 系数趋近于零, 从而得证.$
$注: 当 x(t) 是连续函数时, 这就是数学分析中 Fourier 级数$
$部分的 Riemann 引理(参阅本教材: 例 5.5.11).$

$由Bessel不等式, 有以下推论:$
$推论 3.3.12 设 \lbrace e_{\alpha} \rbrace (\alpha \in I)是内积空间 X 中的标准正交系,$
$则对于每个 x \in X, x 关于这个标准正交系的 Fourier 系$
$数 \lbrace (x, e_{\alpha})|\alpha \in I \rbrace 最多有可数可不为零.$

$定理 3.3.13 设 H 是一个 Hilbert 空间, \lbrace e_n \rbrace 是H中的标准正交列,$
$\lbrace \alpha_n \rbrace 是一个数列, 则级数 \sum \limits_{n=1}^{\infty} \alpha_n e_n 收敛的充要条件为$
$\qquad \sum \limits_{n=1}^{\infty} |\alpha_n|^2 < \infty.$
$并且在上述条件下, 有$
$\qquad \Vert \sum \limits_{n=1}^{\infty} \alpha_n e_n \Vert ^2 = \sum \limits_{n=1}^{\infty} |\alpha_n|^2.$
$证明：必要性.$
$分析：已知\sum \limits_{n=1}^{\infty} \alpha_n e_n 收敛(记 x = \sum \limits_{n=1}^{\infty} \alpha_n e_n), 要推出:$
$\qquad \sum \limits_{n=1}^{\infty} |\alpha_n|^2 < \infty.$
$根据 \lbrace e_n \rbrace 是标准正交列, 即$
$\qquad (e_n, e_m) = 0, n \neq m,$
$\qquad (e_n, e_n) = 1, n = 1, 2, \cdots.$
$为证明结论需要:$
$(1) 建立 \alpha_m 与 x 的 Fourier 系数 (x, e_m)之间的联系.$
$(2) 并结合 Bessel 不等式来证明.$
$下面证明必要性.$
$假设 \sum \limits_{n=1}^{\infty} \alpha_n e_n 收敛, 记 x = \sum \limits_{n=1}^{\infty} \alpha_n e_n.$
$则对于任意m \in \mathbb{N}, 注意到内积的连续性, 有$
$(x, e_m) = (\sum \limits_{n=1}^{\infty} \alpha_n e_n, e_m) = (\lim \limits_{k \to \infty} \sum \limits_{n=1}^k \alpha_n e_n, e_m)$
$\qquad = \lim \limits_{k \to \infty} (\sum \limits_{n=1}^k \alpha_n e_n, e_m) = \alpha_m$
$(因为 k 最终要大于 m)$
$由 Bessel 不等式有$
$\qquad \sum \limits_{n=1}^{\infty} |\alpha_n|^2 = \sum \limits_{n=1}^{\infty} |(x, e_n)|^2 \leq \Vert x \Vert ^2 < \infty.$
$充分性.$
$分析:由 \sum \limits_{n=1}^{\infty} | \alpha_n|^2 < \infty \Rightarrow 级数 \sum \limits_{n=1}^{\infty} \alpha_n e_n 收敛.$
$(1) 要证无穷级数收敛, 只要证明前k项和序列$
$\qquad \lbrace x_k \rbrace = \lbrace \sum \limits_{n=1}^{k} \alpha_n e_n \rbrace$
$收敛$
$(2) 要证次序列收敛, 注意到这里H是 Hilbert 空间,只要$
$证明它们是 H 中的 Cauchy 列即可.$
$(3) 为此要证明:$
$\qquad \Vert x_k - x_j \Vert \to 0, (k,j \to \infty).$
$下面证明充分性.$
$假设 \sum \limits_{n=1}^{\infty} |\alpha_n|^2 < \infty.$
$对任意k \in \mathbb{N}, 令$
$\qquad x_k = \sum \limits_{n=1}^k \alpha_n e_n,$
$对于任意的j, k \in \mathbb{N}, k > j, 由于 \lbrace e_n \rbrace 是正交列,$
$\qquad \Vert x_k - x_j \Vert ^2 = \Vert \sum \limits_{n=j+1}^k \alpha_n e_n \Vert ^2 = \sum \limits_{n=j+1}^k |\alpha_n|^2.$
$由于 \sum \limits_{n=1}^{\infty} |\alpha_n|^2 收敛, 上式说明 \lbrace x_k \rbrace 是H中的$
$Cauchy 列, 因此级数 \sum \limits_{n=1}^{\infty} \alpha_n e_n 在空间 H 中收敛.$
$进一步, 由范数的连续性和 \lbrace e_n \rbrace 是标准正交列, 我们有$
$\Vert \sum \limits_{n=1}^{\infty} \alpha_n e_n \Vert ^2 = \lim \limits_{k \to \infty} \Vert \sum \limits_{n=1}^k \alpha_n e_n \Vert ^2 = \lim \limits_{k \to \infty} \sum \limits_{n=1}^k |\alpha_n|^2$
$\qquad = \sum \limits_{n=1}^{\infty} |\alpha_n|^2.$
$上述定理可表示为:$

$推论 3.3.14 在 Hilbert 空间 H 中, 级数 \sum \limits_{n=1}^{\infty} \alpha_n e_n 收敛$
$的充要条件为数列 \lbrace \alpha_n \rbrace \in l^2.$

$推论 3.3.15 设 H 是一个 Hilbert 空间, \lbrace e_n \rbrace 是H中$
$的标准正交列, 则对于任意的 x \in H, x 的 Fourier 级数$
$\sum \limits_{n=1}^{\infty}(x, e_n)e_n 都收敛.$
$证明:由定理 3.3.9 (Bessel 不等式)知, Fourier 系数是$
$平方和的, 并且其和小于或等于 \Vert x \Vert ^2,$
$结合定理 3.3.13, 推论可证.$
$注1：推论 3.3.15 回答了 3.3.3 小节 最后提出的关于$
$Fourier 级数是否收敛的问题.$
$注2：这里的收敛是在 Hilbert 空间中按范数收敛,$
$不是数学分析中的逐点收敛.$