漫步最优化十七——点对点映射

$\textbf{英雄应该配美人，}$
$\textbf{美人同样适合英雄。}$
$\textbf{她像个天仙，}$
$\textbf{她太美了，}$
$\textbf{我不会有那种命的，}$
$\textbf{肯定轮不到我。}$
$\textbf{时间会越累越少，}$
$\textbf{我也会越来越老，}$
$\textbf{那至少给我留下一个梦吧。}$
$\qquad\quad\textbf{畅宝宝的傻逼哥哥}$

从简单到高度复杂的算法中，有许多可以用来求出非线性规划问题的解。虽然不同的算法在结构，数学基础以及应用上非常不同，但是它们却有某些相同的性质，这些是比较通用的。非线性规划算法中最基础的两个公共性质为：

1. 它们是迭代算法
2. 它们是下降算法

对于一个算法，如果它的解是从一个初始估计值开始，然后计算出一系列点得到的，那么就称该算法是迭代算法。另一方面，如果算法产生的新值使得目标函数变小，那么称该算法是下降算法。

从数学角度看，我们可以将算法看成点到点的映射，其中点$\textbf{x}_k$位于某个空间，一般为$E^n$向量空间的字空间，它被影射到同一空间的另一个点$\textbf{x}_{k+1}$，$\textbf{x}_{k+1}$的值由某些对应规则指定。从效果上看，如果点$\textbf{x}_k$用于算法的输入，那么点$\textbf{x}_{k+1}$就是输出，那么算法就可以用图1这样的框图来表示。在图中，$\textbf{x}_0$表示解的初始值，反馈线表示算法的迭代性质，$\textbf{x}_{k+1}$与$\textbf{x}_k$之间的对应规则可以表示成

$$\textbf{x}_{k+1}=A(\textbf{x}_k)$$

将迭代应用到连续的点上，算法将产生一系列点$\{\textbf{x}_0,\textbf{x}_1,\ldots,\textbf{x}_k,\ldots\}$，如图2所示。如果序列收敛到极限$\hat{\textbf{x}}$，那么$\hat{\textbf{x}}$就是所求的解。

对于序列$\{\textbf{x}_0,\textbf{x}_1,\ldots,\textbf{x}_k,\ldots\}$，如果对任意给定的$\varepsilon>0$，存在整数$K$使得

$$\Vert\textbf{x}_k-\hat{\textbf{x}}\Vert<\varepsilon\quad for\ all\ k\geq K$$

其中$\Vert\cdot\Vert$表示欧几里得范数。这样的序列可以表示成符号$\{\textbf{x}_k\}_{k=0}^\infty$，它的极限为$\textbf{x}_k\to\hat{\textbf{x}}$，如果这样的序列收敛，那么它有一个唯一的极限点。

之后的文章中，我们会用到给定序列的字序列，$\{\textbf{x}_k\}_{k=0}^\infty$的子序列表示成$\{\textbf{x}_k\}_{k\in I}$，其中$I$是正整数的集合，通过删除$\{\textbf{x}_k\}_{k=0}^{\infty}$中的某些元素就可得到子序列。例如，如果$I=\{k:k\geq 10\}$，那么$\{\textbf{x}_k\}_{k\in I}=\{\textbf{x}_{10},\textbf{x}_{11},\textbf{x}_{12},\ldots\}$。在我们的符号$S=\{k:P\}$中，$S$表示满足性质$P$的$k$组成的集合。

图1



图2

如果由算法A生成的点序列如上面那样收敛到极限$\hat{\textbf{x}}$，那么称算法A是连续的。