泛函分析笔记3：内积空间

我们前面讲了距离空间、赋范空间，距离空间赋予了两个点之间的距离度量，范数赋予了每个点自身的长度度量，而范数则可以导出距离。本章要讲的内积可以看成是更加统一的定义，因为从内积我们可以导出范数，进而导出距离。因此内积空间是一个“更小”的空间，在此基础上结合完备性我们引出了 Hilbert 空间，后续我们的研究也大多集中在 Hilbert 空间上。

1. 内积空间

定义：$X$ 为 $\mathbb{K}$ 上的线性空间，$⟨\cdot ,\cdot ⟩:X\times X\to \mathbb{K}$，若满足如下条件

1. $⟨\lambda x+\mu y,z⟩=\lambda ⟨x,z⟩+\mu ⟨y,z⟩$
2. $\overline{⟨x,y⟩}=⟨y,z⟩$
3. $\forall x\in X,⟨x,x⟩\ge 0$
4. $⟨x,x⟩=0⟺x=0$

则称 $(X,⟨\cdot ,\cdot ⟩)$ 为内积空间。可以用内积定义范数 $\Vert x\Vert =⟨x,x{⟩}^{1/2}$。若得到的 $(X,\Vert \cdot \Vert )$ 为 Banach 空间，那么 $(X,⟨\cdot ,\cdot ⟩)$ 为 Hilbert 空间。

定理：$(X,⟨\cdot ,\cdot ⟩),\forall x,y\in X$ 有

• $|⟨x,y⟩|\le \Vert x\Vert \cdot \Vert y\Vert$（Schwartz 不等式）等号成立 $⟺x,y$ 线性相关 $⟺y=0$ 或 $x=cy$
• $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$ 等号成立 $⟺x,y$ 线性相关 $⟺y=0$ 或 $x=cy$

定理：$(X,⟨\cdot ,\cdot ⟩)$，设 $x_n\to x,y_n\to y$，则 $⟨x_n,y_n⟩\to ⟨x,y⟩$（此定理说明内积为连续映射）。

证明：略。

命题：若 $\Vert \cdot \Vert$ 为 $X$ 上的范数，若 $\forall x,y\in X$ 都满足平行四边形等式 $\Vert x+y{\Vert }^2+\Vert x-y{\Vert }^2=2(\Vert x{\Vert }^2+\Vert y{\Vert }^2)$，则存在 $X$ 上的内积 $⟨\cdot ,\cdot ⟩$，使得 $\Vert x\Vert =⟨\cdot ,\cdot {⟩}^{1/2}.$

证明：较复杂，略。

例子 1：$X={\mathbb{K}}^2,\Vert (x,y){\Vert }_{\infty }$ 不是内积空间，反例比如 $x=(1,1),y=(1,-1)$，验证平行四边形等式不成立即可。

例子 2：$({\ell }^{\infty },\Vert \cdot {\Vert }_{\infty })$ 不是内积空间，反例如 $x=(1,0,0,...),y=(0,-1,0,...)$。

实际上对于空间 $X={\mathbb{K}}^n,n>0$，$\Vert x{\Vert }_p$ 只有在 $p=2$ 的时候才是内积空间，其余情况均不是内积空间。

对于空间 $({\ell }^p,\Vert \cdot {\Vert }_p)$ 也只有在 $p=2$ 的时候才是内积空间。

例子 3：$C[0,1],\Vert x{\Vert }_{\infty }$ 不是内积空间，反例比如 $x(t)=1+t,y(t)=1-t$，验证平行四边形等式不成立即可(说明找不到合适的内积定义来导出无穷范数)。

类比上面的例子，我们也可以对连续函数定义 $2$ 范数($p$ 范数)。首先定义内积
$$\begin{gathered} ⟨x,y⟩={\int }_a^{b}x(t)\overline{y(t)}dt\Rightarrow \Vert x\Vert =⟨x,x{⟩}^{1/2} \\ \Vert x{\Vert }_p={\left({\int }_a^b|x(t){|}^{p}dt\right)}^{1/p} \end{gathered}$$
同样地，只有在 $p=2$ 的时候 $(C[a,b],\Vert x{\Vert }_p)$ 才是内积空间。

到这里大家基本了解了内积空间的特点，他比一般的赋范空间更严格，度量空间就更不用说了。根据初中的知识，有了内积我们就能计算夹角了，不过这里我们不讲夹角，而是考虑正交和正交补的概念。

小结：这一部分讲了内积运算的定义，并且由内积可以导出范数的定义，但是内积比范数的要求更严格，因此对于某个范数，可以通过验证平行四边形等式来验证其是否可以由内积运算来导出。

2. 正交补与正交投影

内积空间 $(X,⟨⟩)$ 中，称 $x,y$ 正交，若 $⟨x,y⟩=0$，记为 $x\perp y$。$M\subset X$ 非空，定义其正交补 M ⊥ = { x ∈ X : x ⊥ y , ∀ y ∈ M } . M^{\perp}=\{x\in X:x\perp y,\forall y\in M\}. M⊥={x∈X:x⊥y,∀y∈M}.

命题：$M^{\perp }$ 为 $X$ 的闭集线性子空间。

证明：易证 $M^{\perp }$ 为线性子空间，然后再用内积的是连续映射证明 $M^{\perp }$ 为闭集。

这里插入一个最佳逼近元的概念。定义 $\xi (x_0,M)={\inf }_{y\in M}d(x_0,y)$，若存在 $y_0\in M$ 使得 $d(x_0,y_0)=\xi (x_0,M)$，那么就称 $y_0$ 为最佳逼近元。什么情况下最佳逼近元存在呢？

1. 当 $M$ 为非空紧集的时候，$y_0$ 存在（因为紧集一定是有界闭集）。
2. 若 $X$ 为赋范空间，$M$ 为 $X$ 的有限维线性子空间，则 $y_0$ 存在（因为有限维赋范空间都完备，$M$ 为闭集）。

定理：$(X,⟨⟩)$，$M$ 为 $X$ 非空凸子集，且 $M$ 完备，则 $\forall x_0\in X$，$\exists !y_0\in M$ 为最佳逼近元，并且有 $x_0-y_0\in M^{\perp }$。

证明：先找到 $y_n\in M,d(x_0,y_n)\le \xi (x_0,M)+\frac{1}{n}$，证明其为柯西列，由于 $M$ 完备，得到最佳逼近元的存在性。再由 $M$ 的凸性质证明唯一性。证毕。

对于线性空间 $X$，$M,N$ 为 $X$ 的线性子空间，称 $X$ 为 $M,N$ 的直和，若 $\forall x\in X,\exists !m\in M,n\in N,x=m+n$，记为 $X=M\oplus N.$

很容易验证 X = M ⊕ N    ⟺    X = span ( M ∪ N ) , M ∩ N = { 0 } . X=M\oplus N \iff X=\text{span}(M\cup N), M\cap N=\{0\}. X=M⊕N⟺X=span(M∪N),M∩N={0}.

定理：设 $H$ 为 Hilbert 空间，$M$ 为 $H$ 的闭线性子空间，则 $H=M\oplus M^{\perp }.$

证明：$M$ 完备，对 $\forall x\in H$，$\exists !y\in M$，使得 $\Vert x-y\Vert =\xi (x,M)$，并且 $x-y\in M^{\perp }$。证毕。

定理：设 $H$ 为 Hilbert 空间，$M$ 为 $H$ 的闭线性子空间，则 $(M^{\perp }{)}^{\perp }=M.$

证明：略。

上面两条定理当中，只有 $M$ 是 $H$ 的闭线性子空间才有如此良好的性质！因为只有闭线性子空间才能认为 $M$ 是尽可能“丰满”的。举个例子，${\mathbb{R}}^3$ 中，令 M = { e 1 = ( 1 , 0 , 0 ) } M=\{e_1=(1,0,0)\} M={e1​=(1,0,0)}，那么 $M^{\perp }$ 为 $y-z$ 平面，$(M^{\perp }{)}^{\perp }$ 为 $x$ 轴，相比于原始的 $M$ 扩展到无穷远处了。

推论：设 $H$ 为 Hilbert 空间，$M\subset H$ 非空，则 span M ‾ = H    ⟺    M ⊥ = { 0 } . \overline{\text{span}M}=H \iff M^{\perp}=\{0\}. spanM​=H⟺M⊥={0}.

引理：$M^{\perp }=(\bar{M}{)}^{\perp },(\text{span}M{)}^{\perp }=M^{\perp }.$

证明：略。

NOTE：这个引理实际上说明了正交补空间在定义的时候已经是“最大化的”，即使原空间 $M$ 稍微扩张一点点，其正交补空间仍然保持不变。

设 $H$ 为 Hilbert 空间，$M$ 为 $H$ 的闭线性子空间，那么对于 $\forall x\in H$，存在唯一的分解 $x=y+z,y\in M,z\in M^{\perp }.$ 记 $P_{M}x=y$，称 $P_M$ 为从 $H$ 到 $M$ 上的正交投影，其有如下性质：

1. $P_M$ 为线性算子；
2. $P_M$ 有界，并且 P M = 1 , M ≠ { 0 } P_M=1, M\ne\{0\} PM​=1,M​={0}， P M = 0 , M = { 0 } P_M=0,M=\{0\} PM​=0,M={0}；
3. $P_M^2=P_M$；
4. $R(P_M)=M,N(P_M)=M^{\perp }$。

小结：本小节给出了正交补的定义

1. 不论原空间 $M$ 如何，正交补空间 $M^{\perp }$ 总是有一些良好的性质：1）闭线性子空间；2）“最大化的”；
2. 如果原空间 $M$ 同时有良好的性质（闭线性子空间），那么他们两个就是对整个空间 $H$ 的良好分割。

3. 标准正交基

内积空间 $(X,⟨⟩)$ 中，$M\subset X$ 为正交集，若 $\forall x,y\in M,x\ne y,\Rightarrow x\perp y.$ 进一步若 $M$ 中任意元素 $\Vert x\Vert =1$，则称 $M$ 为标准正交集。

对于一个标准正交序列 M = { e n , n ≥ 1 } M=\{e_n,n\ge1\} M={en​,n≥1}，有 Bessel 不等式
$$\sum _{i=1}^{\infty }|⟨x,e_i⟩{|}^2\le \Vert x{\Vert }^2.$$

有了标准正交集的概念，我们很容易联想到正交基。下面列出的正交集的性质都可以类比基，但是随便取一个标准正交集，其并不一定完备，因此二者又有细微的差别。

定理：$H$ 为 Hilbert 空间， { e 1 , e 2 , . . . } \{e_1,e_2,...\} {e1​,e2​,...} 为 $H$ 的标准正交集，那么有

• $\forall {\lambda }_n\in \mathbb{K},{\sum }_n^{\infty }{\lambda }_n{e}_n$ 收敛 $⟺{\sum }_n^{\infty }|{\lambda }_n{|}^2<\infty$
• 若 $x={\sum }_n^{\infty }{\lambda }_n{e}_n$，则 ${\lambda }_n=⟨x,e_n⟩$
• $\forall x\in H,{\sum }_n^{\infty }⟨x,e_n⟩e_n$ 收敛

证明：由于涉及到无穷级数，因此证明过程中需要首先考虑 $S_N={\sum }_{n=1}^N{\lambda }_n{e}_n$ 的情况，再证明 $N\to \infty$ 的时候极限成立。细节略。

如果对于标准正交集 $M$ 我们有 $\overline{\text{span}M}=H$，那么称 $M$ 在 $H$ 中为完全的。实际上这里很容易联想到完备正交基，我们知道空间中任意一点都可以用基的线性组合来表示，如果 $M$ 是完全的，那么我们可以有相似的结论。

命题：首先定义 ∀ x ∈ X , M x = { e ∈ M , ⟨ x , e ⟩ ≠ 0 } \forall x\in X, M_x=\{e\in M, \langle x,e\rangle \ne0\} ∀x∈X,Mx​={e∈M,⟨x,e⟩​=0}，那么一定有 $M_x$ 是至多可数的。

证明：定义 M x , n = { e ∈ M , ∣ ⟨ x , e ⟩ ∣ ≥ 1 n } M_{x,n}=\{e\in M, |\langle x,e\rangle |\ge \frac{1}{n}\} Mx,n​={e∈M,∣⟨x,e⟩∣≥n1​}，$M_x={\cup }_{n=1}^{\infty }{M}_{x,n}$，只需证明 $\forall n\ge 1,M_{x,n}$ 为至多可数集。

假设 $M_{x,n}$ 中两两不等的元素可以表示为 $e_1,...,e_N$，那么 $\frac{N}{n^2}\le {\sum }_{n=1}^N|⟨x,e_i⟩{|}^2\le \Vert x{\Vert }^2\Rightarrow N\le n^2\Vert x{\Vert }^2$，说明 $M_{x,n}$ 中的元素个数是有限的。证毕。

定理：$H$ 为 Hilbert 空间，$M$ 为 $H$ 的标准正交集，则下述命题等价：

1. $M$ 为完全的；
2. $\forall x\in H,x={\sum }_{e\in M}⟨x,e⟩e$；
3. $\forall x\in H,\Vert x{\Vert }^2={\sum }_{e\in M}|⟨x,e⟩{|}^2.$
4. $\forall x,y\in H,⟨x,y⟩={\sum }_{e\in M}⟨x,e⟩⟨e,y⟩$

证明：首先用反证法证明 $2\Rightarrow 1,3\Rightarrow 1.$ 然后考虑 ∀ x ∈ H , M x = { e 1 , e 2 , . . . } \forall x\in H, M_x=\{e_1,e_2,...\} ∀x∈H,Mx​={e1​,e2​,...}，令 $y={\sum }_{i=1}^{\infty }⟨x,e_i⟩e_i$， $z=y-x$，容易证明 $⟨z,e_i⟩=0,\forall i\ge 1$，那么就有 z ∈ M ⊥ = { 0 } z\in M^{\perp}=\{0\} z∈M⊥={0}，从而 $x=y={\sum }_{i=1}^{\infty }⟨x,e_i⟩e_i$，$1\Rightarrow 2$。其余证明可以参考课本。此处省略。

对于内积空间 $X$ 的一列线性无关元素 { x 1 , . . . , x n } \{x_1,...,x_n\} {x1​,...,xn​}，那么存在一组标准正交序列 $e_1,...,e_n$ 使得
span { x 1 , . . . , x n } = span { e 1 , . . . , e n } \text{span}\{x_1,...,x_n\} = \text{span}\{e_1,...,e_n\} span{x1​,...,xn​}=span{e1​,...,en​}
其中一种获取方法为 Gram-Schmidt 标准正交化方法，即

1. 首先取 $e_1=\frac{x_1}{\Vert x_1\Vert }$
2. 然后 $v_2=x_2-⟨x_2,e_1⟩e_1,e_2=\frac{v_1}{\Vert v_2\Vert }$
3. 上述过程重复进行。

定理：$H$ 为 Hilbert 空间，$M$ 为 $H$ 的标准正交集，则存在 $N$ 为完全标准正交集，$M\subset N.$

推论：任意 Hilbert 空间均有完全标准正交集。

证明：可以根据有限维空间、无限维可分空间进行讨论，应用 Gram-Schmidt 标准正交化方法即可获得完全标准正交集。

实际上如果我们能构造出来 Hilbert 空间的一组标准正交基，那么对于有限维空间 $\text{dim}H=n$，其与 ${\mathbb{K}}^n$ 等距同构；对于无穷维可分空间，其与 ${\ell }^2$ 等距同构。

小结：

1. 本小节讲到的标准正交集可以用于向量的线性分解表示。
2. 当标准正交集是完全的，那么它实际上就是 Hilbert 空间 $H$ 的一组标准正交基。这又可以看作是线性空间中 Hamel 基/Schauder 基的更特殊的情况，因为完备的标准正交集要求相互正交，而 Hamel 基和 Schauder 基只要求线性无关。
3. 实际上根据 Gram-Schmidt 标准正交化方法可以由两种基构造出标准正交基。

4. Hilbert 空间上有界线性泛函表示

对于内积空间 $X$，取 $z_0\in X$，那么我们可以定义一个线性泛函 $f_{z_0}(x)=⟨x,z_0⟩$，可以验证 $f_{z_0}\in X^{\star }$，并且有 $\Vert f_{z_0}\Vert =\Vert z_0\Vert$，因此 $f_{z_0}\in X^{\prime }$。

那么如果反过来，任取 $f\in X^{\prime }$，我们是否能够断言 $f$ 都可以表示为 $f(x)=⟨x,z_0⟩$ 的形式呢？可以！这个表示形式如此简洁，以后你会发现这个性质非常有用！但并不是任意赋范空间都可以如此表示，只有 Hilbert 空间有这个良好的性质。

定理(F.Riesz)：$H$ 为 Hilbert 空间，则 $\forall f\in H^{\prime },\exists !z_0\in H,f(x)=⟨x,z_0⟩.$

证明：若 $f=0$，取 $z_0=0.$

若$f\ne 0,f\in H^{\prime }$，那么 N ( f ) = { x ∈ H , f ( x ) = 0 } N(f)=\{x\in H,f(x)=0\} N(f)={x∈H,f(x)=0} 为 $H$ 的闭线性子空间，因此有 $H=N(f)\oplus N(f{)}^{\perp }$，且 N ( f ) ⊥ ≠ { 0 } N(f)^{\perp}\ne\{0\} N(f)⊥​={0}。接下来的问题就是如何构造一个函数 $\langle x,z\rangle $ 让其等于 $f(x)$？

首先固定 $z_0\in N(f{)}^{\perp },z_0\ne 0$。任给 $x\in H$，考虑 $v=f(x)z_0-f(z_0)x\in H$，显然有 $f(v)=0$，故 $v\in N(f)$，从而有
$$\begin{gathered} ⟨v,z_0⟩=f(x)⟨z_0,z_0⟩-f(z_0)⟨x,z_0⟩=0 \\ ⟹f(x)=⟨x,\frac{\overline{f(z_0)}{z}_0}{\Vert z_0{\Vert }^2}⟩=⟨x,y_0⟩. \end{gathered}$$
下面证明 $y_0$ 的唯一性。略。

证毕。

NOTE：实际上 $N(f{)}^{\perp }$ 是一维空间，也就是 span { z 0 } \text{span}\{z_0\} span{z0​}，因此我们随便从 $N(f{)}^{\perp }$ 中取一个向量 $z_0$ 乘以一个线性系数就能得到 $f(x)$。

假设 $X,Y$ 为 $\mathbb{K}$ 上的赋范空间，称 $f:X\times Y\to \mathbb{K}$ 为共轭双线性泛函，若
$$\begin{gathered} f({\lambda }_1{x}_1+{\lambda }_2{x}_2,y)={\lambda }_{1}f(x_1,y)+{\lambda }_{2}f(x_2,y) \\ f(x,{\lambda }_1{y}_1+{\lambda }_2{y}_2)=\overline{{\lambda }_1}f(x,y_1)+\overline{{\lambda }_2}f(x,y_2) \end{gathered}$$
称其为有界的，若 $\exists C\ge 0$，使
$$|f(x,y)|\le C\Vert x\Vert \Vert y\Vert ,\forall x\in X,y\in Y$$
定义其范数为
$$\Vert f\Vert =\underset{x\ne 0,y\ne 0}{\sup }\frac{|f(x,y)|}{\Vert x\Vert \Vert y\Vert }.$$
定理(F.Riesz)：$H_1,H_2$ 为 Hilbert 空间，$f:H_1\times H_2\to \mathbb{K}$ 为有界共轭双线性泛函，则 $\exists !S\in B(H_1,H_2),f(x,y)=⟨Sx,y⟩,x\in X,y\in Y.$

证明：首先固定 $x\in H_1$，只关注 $H_2\to \mathbb{K}$，即 $y\mapsto \overline{f(x,y)}$ 为有界线性泛函，因此可以 $\exists !S_x\in H_1$，使得
$$\overline{f(x,y)}=⟨y,S_x⟩\Rightarrow f(x,y)=⟨S_x,y⟩$$
现在对 $x$ 任取，可以得到 $S:H_1\to H_2$，由于 $f$ 是有界共轭双线性的，容易验证 $S$ 为有界线性算子。证毕。

下面如果我们定义 $g(x,y)=\overline{f(y,x)}=⟨x,Sy⟩,x\in H_2,y\in H_1$，那么 $g$ 也是有界共轭双线性算子，并且根据上面的 Riesz 表示定理，$\exists !T\in B(H_2，H_1)$ 使得 $g(x,y)=⟨Tx,y⟩=⟨x,Sy⟩.$ 由此我们就导出了伴随算子的定义，我们称 $S$ 为 $T$ 的伴随算子，记为 $S=T^{\star }$，并且根据上面的推导过程可以得到伴随算子是唯一的。

伴随算子有以下性质：

• $\Vert T^{\star }\Vert =\Vert T\Vert$
• $(\lambda S+\mu T{)}^{\star }=\bar{\lambda }{S}^{\star }+\bar{\mu }{T}^{\star }$
• $(T^{\star }{)}^{\star }=T$
• $\Vert T^{\star }T\Vert =\Vert T{T}^{\star }\Vert =\Vert T{\Vert }^2$
• $T^{\star }T=0⟺T=0$
• $(PS{)}^{\star }=S^{\star }{P}^{\star }$

例子 1：伴随算子一个最简单的例子就是矩阵。$H_1=H_2={\mathbb{K}}^n,T\in B(H_1,H_2),\exists !A$ 为 $n$ 阶方针，使得 $Tx=Ax$，容易验证 $T^{\star }x=A^{H}x.$

定理：$H_1,H_2$ 为 Hilbert 空间，$T\in B(H_1,H_2)$ 为一一映射，则 $T$ 为等距同构，当且仅当
$$T{T}^{\star }=I_{H_2},T^{\star }T=I_{H_1.}$$
此时称 $T$ 为 $H_1$ 到 $H_2$ 的酉算子。

证明：要证明等距同构只需要验证 $⟨Tx,Ty{⟩}_2=⟨x,y{⟩}_1,\forall x,y\in H_1$ 或者 $⟨T^{\star }x,T^{\star }y{⟩}_1=⟨x,y{⟩}_2,\forall x,y\in H_2$ 成立，做一下变换即可证明。证毕。

NOTE：实际上这里可以联想到酉矩阵。

小结：这一小节最核心的内容就是 Riesz 表示定理，即 Hilbert 空间上任意有界线性泛函都可以唯一地表示为
$$f(x)=⟨x,z_0⟩,\forall x\in H$$

最后给我的博客打个广告，欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/

前面的一些博客链接如下
泛函分析专栏
泛函分析笔记 0：绪论
泛函分析笔记 1：度量空间
泛函分析笔记 2：赋范空间
泛函分析笔记 3：内积空间