最优化方法1——各类拓扑空间与强弱紧集、下半收敛问题

各类空间与相关性质汇总

1.度量空间

度量空间的核心是定义了距离，拥有距离的空间叫做度量空间。这里指的包括各个点之间的距离，向量之间的距离，曲线之间的距离，函数之间的距离等。

定义

如果引入了函数 $\rho: \mathbb{M} \times \mathbb{M} \rightarrow \mathbb{R}^1$，则空间 $\mathbb{M}$ 称为度量的，它具有以下属性：

1. $\rho(u, v)=0 \Leftrightarrow u=v$;

2. $\rho(u, v)=\rho(v, u) \geqslant 0 \quad \forall u, v \in \mathbb{M}$; （对称且非负）

3. $\rho(u, v) \leqslant \rho(u, w)+\rho(w, v) \quad \forall u, v, w \in \mathbb{M}$。 （三角不等式）

这个函数 $\rho$ 被称为空间 $\mathbb{M}$ 中的**度量(метрикой)**或**距离(расстоянием)**。

通过度量空间，可以引入下面五个重要定义：

1.强收敛

如果 $\lim _{n \rightarrow \infty} \rho\left(u_n, u\right)=0$，度量空间 $\mathbb{M}$ 的元素序列 $\left{u_n\right}$ 与引入的度量 $\rho$ 被称为强收敛(сильно сходящейся) 到元素 $u \in \mathbb {M}$ 。

2.柯西序列

如果 $\lim _{\substack{m \rightarrow \infty \ n \rightarrow \infty}} \rho\left(u_m, u_n\right)=0$，则度量空间 $\mathbb{M}$ 的元素序列 $\left{u_n\right}$ 称为柯西序列(фундаментальной)。

3.完备性

度量空间 $\mathbb{M}$ 被称为完备的，若对于任意基本序列$\left{u_n\right}$存在一个元素 $u \in \mathbb{M}$，使得序列强收敛到它。 $\left(\lim _{n \rightarrow \infty} \rho\left(u_n, u\right)=0\right)$。

换而言之，集合中的元素取极限不超出此空间称其具有完备性。

对于完备性可以举几个例子：有一个有理数组成的一个集合 {1, 1.4, 1.41, 1.414, 1.4142…}，此集合极限为$√2$，而$√2$是无理数，不是有理数，即有理数不具备完备性。

一个通俗的理解是把学校理解为一个空间，你从学校内的宿舍中开始一直往外走，当走不动停下来时 **(极限收敛)**，发现已经走出学校了 **(超出空间)**，不在学校范围内了 **(不完备了)**。

4.集合封闭性

如果一个集合 $M$ 也包含它的所有边界点，则称它为闭集。

这里也列出边界点的定义，在数分2中我们曾学习过：

$x$ 是 $\mathbf{M}$ 的边界点，如果在它的任何邻域中，有属于 $\mathbf{M}$ 并且不在 $\mathbf{M}$ 中的点 (对应于下面那个半黑半白的球)

这里有两个备注：

1.任何强收敛序列都是柯西序列，但反之的情况很多时候不成立：因为无限维度量空间的柯西序列可能不会强收敛到该空间中的任何元素。

2.在度量空间 $\mathbb{M}$ 中，可能同时具有不同的度量，这些度量在收敛性和完备性方面可能是完全不一致的。

5.紧集(紧致性)

度量空间 $\mathbb{M}$ 中度量为 $\rho$ 的集合 $\mathbf{U}$ 被称为紧集，如果从任意序列 $\left{u_n\right} \subset \mathbf{ U}$ 中可以选出子序列，对于度量 $\rho$ 强收敛到某个元素 $u \in \mathbf{U}$。

在有限维的情况下，一个集合的紧致概念等价于它的 封闭性和有界性 (充分必要条件)；但无限维情况有所不同——紧集可以得到封闭性和有界性，反之却不成立。

2.赋范空间

一个线性空间 $\mathbb{L}$ 被称为赋范空间，如果定义了一个泛函 $|\cdot|: \mathbb{L} \rightarrow \mathbb{R}^1$，并具有以下性质：

1. $|u|=0 \Leftrightarrow u=\Theta ;$（零等于零元素的范数，只有它）

2. $|u+v| \leqslant|u|+|v| \quad \forall u, v \in \mathbb{L} ;$（三角不等式）

3. $|\lambda u|=|\lambda| \cdot|u| \quad \forall u \in \mathbb{L}，\lambda \in \mathbb{R}^1$。（正半定性）

这个泛函称为空间 $\mathbb{L}$ 的范数。

范数的几何意义可以认为是一个元素到空间零点的距离。这里需要注意的是，距离指的是两个元素之间的关系，而范数指的是一个元素本身的性质。 任何赋范空间都是具有度量 $\rho(u, v)=|u-v|$ 的度量空间。这个度量称为由范数生成的度量。

注意：在引入范数 $|\cdot|$ 的赋范空间中，强收敛通常称为**范数收敛(сходимостью по норме)**，因为它的定义可以重新表述：序列 $\left{u_n\right}$ 强收敛于元素 $u$ ，如果 $\lim _{n \rightarrow \infty}\left|u_n-u\right|=0$。

3.巴拿赫空间

若赋范空间对其范数生成的度量是完备的，则该赋范空间称为巴拿赫空间。

我们列出了几个经典的巴拿赫空间：

1. 带有任何范数的空间 $\mathbb{R}^n$

2. 空间 $C[a;b]$ 在区间 $[a;b]$ 上连续。具有范数的函数 $|f|=\max _{t \in[a ; b]}|f(t)|$

3. 空间 $\ell^p$ 与范数 $|x|=\left(\sum_{n=1}^{\infty}\left|x_n\right|^p\right)^{1 / p }$

4. 空间 $L^p(a ; b)$ 与范数 $|f|=\left((L) \int_a^b|f(t)|^p d t\right)^{1 / p}$

4.欧几里得空间

线性空间 $\mathbb{H}$ 称为欧几里得空间，如果泛函 $\langle\cdot, \cdot\rangle$ : $\mathbb{H} \times \mathbb{H} \rightarrow \mathbb{R}$ 被引入，且具有以下性质：

1. $\langle h, h\rangle \geqslant 0, \forall h \in \mathbb{H} ;\langle h, h\rangle=0 \Leftrightarrow h=\Theta$;

2. $\left\langle h_1, h_2\right\rangle=\left\langle h_2, h_1\right\rangle, \forall h_1, h_2 \in \mathbb{H}$;

3. $\left\langle h_1+h_2, h_3\right\rangle=\left\langle h_1, h_3\right\rangle+\left\langle h_2, h_3\right\rangle, \forall h_1, h_2, h_3 \in \mathbb {H}$;

4. $\left\langle\lambda h_1, h_2\right\rangle=\lambda\left\langle h_1, h_2\right\rangle, \forall h_1, h_2 \in \mathbb{H}, \forall \lambda \in \mathbb{R}$。

这个泛函称为空间 $\mathbb{H}$ 中的内积。内积的意义在于在范数的概念上加了角度限制条件。 拥有内积的空间叫做内积空间，有限维内积空间是欧几里得空间。 欧几里得空间是一个定义了内积的实数域上的线性空间。

注意：任何欧几里得空间都是范数为 $|h|=\sqrt{\langle h, h\rangle}$ 的赋范空间。该范数称为标量积生成的范数。该范数生成的度量 $\rho(u, v)=\sqrt{\langle u-v, u-v\rangle}$ 称为内积生成的度量。

注意：欧几里得空间一定是赋范空间。

！无限维欧几里得空间中单位球的非紧致性

在任意无限维欧几里得空间中，单位球 $\mathbf{U}={u \in \mathbb{H}:|u| \leqslant 1}$ **不具有紧致性(集合不是紧集)**。为了证明这一点，只要考虑正交系 $\left{e_n\right}$ 就足够了：

$$

\left|e_n\right|=1, n=1,2, \ldots, \quad\left\langle e_m, e_n\right\rangle=0, m \neq n 。

$$

对于这个系统的任意两个不同的元素 $e_m, e_n$，我们有

$$

\rho^2\left(e_m, e_n\right)=\left|e_m-e_n\right|^2=\left\langle e_m-e_n, e_m-e_n\right\rangle=\left\langle e_m, e_m\right\rangle-2\left\langle e_m, e_n\right\rangle+\left\langle e_n, e_n\right\rangle=1-2 \cdot 0+1=2,

$$

因此，序列 $\left{e_n\right}$ 及其任何子序列都不是柯西序列，也就更不可能有强收敛到某点的子序列了。

对于欧式空间的紧致性、连续性等概念，我们也将提出对于无限维空间的弱紧致性，弱连续性等概念。概念如下：

1.弱收敛

如果 $\lim _{n \rightarrow \infty}\left\langle u_n, h\right\rangle=\left\langle u_0, h\right\rangle \quad \forall h \in \mathbb{H}$，那么引入标量积 $\langle\cdot, \cdot\rangle$的欧几里得空间 $\mathbb{H}$ 的元素序列 $\left{u_n\right}$ 称为弱收敛(слабо сходящейся) 到这个空间的元素$u_0$，

值得注意的是，弱收敛的概念仅在无限维空间中才有意义。 因为在有限维空间中，弱收敛和强收敛是等价的。

2.弱紧集(弱紧致性)

欧几里得空间 $\mathbb{H}$ 中的集合 $\mathbf{U}$ 称之为是弱紧集(слабо компактным)，如果从任何序列 $\left{u_n\right} \subset \mathbf{U}$ 中可以挑出一个弱收敛到某个元素 $u \in \mathbf{U}$ 的子序列。

注：一个集合是紧集直接意味着它是弱紧集：因为如果集合 $U$ 是紧集，那么从它的任意元素序列 $\left{u_n\right}$ 中可以选择一个子序列 $\left{u_{ n_k}\right}$ 收敛到元素 $u \in \mathbf{U}$。 但是这个子序列弱收敛到同一个元素 $u$，所以集合 $U$ 是弱紧集。

2.1 弱紧集引理

如果引入了标量积$\langle\cdot,\cdot\rangle$的欧几里得空间 $\mathbb{H}$ 中的集合 $\mathbf{U}$ 是凸集，封闭集且有界，则这个集合是弱紧集。

5.希尔伯特空间

若欧几里得空间对其内积生成的度量是完备的，则该欧几里得空间称为希尔伯特空间。

我们列出了几个经典的希尔伯特空间：

1. $\mathbb{R}^n$ 与内积 $\langle x, y\rangle=\sum_{k=1}^n x_k y_k$。

2. $\ell^2$ 与内积 $\langle x, y\rangle_{\ell^2}=\sum_{k=1}^{\infty} x_k y_k$。

3. $L^2(a ; b)$ 与内积 $\langle f, g\rangle_{L^2(a ; b)}=(L) \int_a^b f(t) g(t) dt$

上述关系可以表示为韦恩图：