漫步最优化二十一——全局收敛

$\textbf{平时我看起来很坚强，}$
$\textbf{可是遇到你，我会变成另一个模样。}$
$\textbf{我不想考虑太多，}$
$\textbf{因为追随内心，你已经走进我的心墙。}$
$\textbf{我想让你知道，}$
$\textbf{我从未想过放手，}$
$\textbf{只愿陪你到永远。}$
$\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}$

如果一个算法满足这样的性质：任意的初始点$\textbf{x}_0\in X$都会产生一个收敛的点序列$\{\textbf{x}_k\}_{k=0}^\infty$，那么称该算法是全局收敛的。实际上，如果某些条件不满足，甚至非常有效的算法都会失效。例如算法可能产生不收敛的序列或者收敛的点不是所求的解，存在一些导致算法失败的因素，但是如果我们很清楚的了解他们，那么我们就能采取某些避免失败的措施，所以全局收敛成为理论学者与实践者共同的兴趣。

大部分全局收敛理论处理的是保证全局收敛的环境与条件，其中一个重要的理论如下：

$\textbf{定理1：}$令A表示X上的算法并假设初始点$\textbf{x}_0$将产生一个无穷序列$\{\textbf{x}_k\}_{k=0}^{\infty}$，其中

$$\textbf{x}_{k+1}\in A(\textbf{x}_k)$$

如果该算法的解集S与下降函数$D(\textbf{x}_k)$存在，使得

• 所有点$\textbf{x}_k$包含在X的紧子集中
• $D(\textbf{x}_k)$满足下降函数的定义且
• A的映射对S外的所有点都封闭

那么任何收敛序列$\{\textbf{x}_k\}_{k=0}^{\infty}$的极限都是解。

$\textbf{证明：}$这个定理的证明分两部分。对a部分，我们假设$\hat{\textbf{x}}$是任何序列$\{\textbf{x}_k\}_{k=0}^{\infty}$子序列$\{\textbf{x}_k\}_{k\in I}$的极限，其中I是整数的一个集合，并且说明$D(\textbf{x}_k)$对无限序列$\{\textbf{x}_k\}_{k=0}^{\infty}$收敛。对b部分，我们说明$\hat{\textbf{x}}$是集合S的解。

证明的第二部分非常依赖于魏尔斯特拉斯定理，如果W是紧集，那么序列$\{\textbf{x}_k\}_{k=0}^{\infty}$的极限点在W中，其中$\textbf{x}_k\in W$。如果集合W是闭的，那么它也就紧集。如果W边界上的所有点都属于W，那么W是闭集。如果W能被一个有限半径的超球包围，那么W是有界集。魏尔斯特拉斯定理的一个结论是$\{\textbf{x}_k\}_{k=0}^{\infty}$的任何子序列$\{\textbf{x}_k\}_{k\in I}$的极限位于集合$\bar{W}=\{\textbf{x}_k:k\in I\}$中，因为$\bar{W}$是W的子集，所以它也是紧集。

(a)因为$D(\textbf{x}_k)$在X上是连续的且$\hat{\textbf{x}}$是序列$\{\textbf{x}_k\}_{k\in I}$的极限，所以存在正数与整数K使得当$k\geq K$时

$$D(\textbf{x}_k)-D(\hat{\textbf{x}})<\varepsilon$$

其中$k\in I$，因此$D(\textbf{x}_k)$对子序列$\{\textbf{x}_k\}_{k\in I}$收敛。然而我们还必须证明$D(\textbf{x}_k)$对无限序列$\{\textbf{x}_k\}_{k=0}^{\infty}$收敛。

对于任意$k\geq K$，我们有

$$D(\textbf{x}_k)-D(\hat{\textbf{x}})=[D(\textbf{x}_k)-D(\textbf{x}_K)]+[D(\textbf{x}_K)-D(\hat{\textbf{x}})]$$

如果$k=K$，那么

$$D(\textbf{x}_K)-D(\hat{\textbf{x}})<\varepsilon$$

如果$k\geq K$，那么$D(\textbf{x}_k)\leq D(\textbf{x}_K)$，因此

$$D(\textbf{x}_k)-D(\textbf{x}_K)\leq 0$$

由此可得对任意$k\geq K$

$$D(\textbf{x}_k)-D(\hat{\textbf{x}})<\varepsilon$$

因此

$$\lim_{k\to\infty} D(\textbf{x}_k)=D(\hat{\textbf{x}})$$

即当$\textbf{x}_k\to\hat{\textbf{x}}$时$D(\textbf{x}_k)$相对于无限序列收敛。

(b)假设$\hat{\textbf{x}}$不在解集中，因为子序列$\{\textbf{x}_{k+1}\}_{k\in I}$的元素属于属于紧集，根据魏尔斯特拉斯定理可知存在紧子集$\{\textbf{x}_{k+1}:k\in\bar{I}\subset I\}$使得$\textbf{x}_{k+1}$收敛到极限$\bar{\textbf{x}}$。根据部分(a)，我们说明了

$$\lim_{k\to\infty}D(\textbf{x}_{k+1})=D(\bar{\textbf{x}})$$

因此

$$D(\bar{\textbf{x}})=D(\hat{\textbf{x}})$$

另一方面

$$\begin{align*} \textbf{x}_k\to\hat{\textbf{x}}\quad &for\ k\in\bar{I}\\ \textbf{x}_{k+1}\to\bar{\textbf{x}}\quad &for\ \textbf{x}_{k+1}\in A(\textbf{x}) \end{align*}$$

根据假设$\hat{\textbf{x}}\notin S$，并且A对S外的点是闭的，我们有

$$\bar{\textbf{x}}\in A(\hat{\textbf{x}})$$

因此

$$D(\bar{\textbf{x}})<D(\hat{\textbf{x}})$$

得出矛盾，因为$\{\textbf{x}_k\}_{k=0}^{\infty}$的任何收敛子序列的极限是解。

对于简单的情况，上面的定理说明，如果

• 算法生成的点在有限的$E^n$空间中
• 可以找到满足要求的下降函数
• 算法在解邻域的外边是封闭的

那么算法是全局收敛的。进一步，我们可以在有限次迭代下得到近似解，因为$\{\textbf{x}_k\}_{k=0}^{\infty}$的任何有限子序列的极限都是解。

定理1的推论同样非常重要：

$\textbf{推论1：}$如果定理1的条件成立，解集S由一个点$\hat{\textbf{x}}$组成，那么序列$\{\textbf{x}_k\}_{k=0}^{\infty}$收敛到$\hat{\textbf{x}}$。

$\textbf{证明：}$如果我们假设有一个子序列$\{\textbf{x}_k\}_{k\in I}$不收敛到$\hat{\textbf{x}}$，那么对于所有的$k\in I,\varepsilon>0$，

$$\Vert\textbf{x}_k-\hat{\textbf{x}}\Vert>\varepsilon$$

集合$\{\textbf{x}_k\in I^{'}\subset I\}$是紧集，$\{\textbf{x}_k\}$