漫步最优化十九——封闭算法

$\textbf{想你的夜晚，}$
$\textbf{我在屋顶做着一个梦。}$
$\textbf{我和你拥抱在明亮的月光下，}$
$\textbf{动人的旋律环绕在我俩身边。}$
$\textbf{开始纠结是否要醒来，}$
$\textbf{因为梦里有你而更美。}$
$\qquad\textbf{——畅宝宝的傻逼哥哥}$

前面的文章中，我们提到了点到点算法的连续性，而点到点以及点到集合算法有个更加一般的性质：封闭性，对于点到点算法，这个性质就弱化为连续性。

$\textbf{定义1：}$

• 对于从空间$X$到空间$X_1$的点到集合算法A，如果假设
  $$\begin{align*} \textbf{x}_k\to\hat{\textbf{x}}\quad for\ \textbf{x}_k\in X\\ \textbf{x}_{k+1}\to\hat{\textbf{x}_1}\quad for\ \textbf{x}_{k+1}\in A(\textbf{x}_k) \end{align*}$$

意味着

$$\hat{\textbf{x}_1}\in A(\hat{\textbf{x}})$$

那么称算法在点$\hat{\textbf{x}}\in X$处封闭。其中符号$\textbf{x}_k\to\hat{\textbf{x}}$表示序列$\{\textbf{x}_k\}_{k=1}^{\infty}$收敛到极限$\hat{\textbf{x}}$

• 对于点到集合算法A，如果对X中的每个点都是封闭的，那么称算法在X上封闭。

这个定义如图1所示，如果$\hat{\textbf{x}},\hat{\textbf{x}_1}$之间存在实线，那么称算法A在点$\hat{\textbf{x}}$处封闭，如果对所有$\hat{\textbf{x}}\in X$都存在实线，那么A在X上封闭。

$\textbf{例1：}$算法A定义为

$$x_{k+1}=A(x_k)= \begin{cases} \frac{1}{2}(x_k+2)&for\ x_k>1\\ \frac{1}{4}x_k&for\ x_k\leq 1 \end{cases}$$

如图2所示，说明算法在$\hat{x}=1$处不封闭。

$\textbf{解：}$令序列$\{x_k\}_k^{\infty}$为

$$x_k=1+\frac{1}{2^{k+1}}$$

由此得到的序列为

$$\{x_k\}_{k=0}^{\infty}=\{1.5,1.25,1.125,\ldots,1\}$$

因此

$$x_k\to\hat{x}=1$$

图1

对应的序列$\{x_{k+1}\}_{k=0}^{\infty}$为

$$x_{k+1}=A(x_k)=\frac{1}{2}(x_k+2)$$

所以

$$\{x_{k+1}\}_{k=0}^{\infty}=\{1.75,1.625,1.5625,\ldots,1.5\}$$

所以

$$x_{k+1}\to\hat{x}_1=1.5$$

接下来

$$A(\hat{x})=\frac{1}{4}$$

且因为$\hat{x}_1=1.5$，我们有

$$\hat{x}_1\neq A(\hat{x})$$

故A在$\hat{x}=1$处不封闭。这个问题是由于$A(x_k)$在$x_k=1$处不连续造成的。

图2

$\textbf{例2：}$算法A定义为

$$x_{k+1}=A(x_k)=x_k^2\quad for\ -\infty<x_k<\infty$$

说明$A$是封闭的。

$\textbf{解：}$令$\{x_k\}$是收敛到$\hat{x}$的序列，例$x_k\to\hat{x}$，那么$\{x_{k+1}\}=\{A(x_k)\}=\{x_k^2\}$是收敛到$\hat{x}^2$的序列，例$x_k^2\to\hat{x}_1=\hat{x}^2$。因为$\hat{x}_1=A(\hat{x})$，所以我们可以得出对所有的$\hat{x},-\infty<\hat{x}<\infty$，A是封闭的。