最优化学习笔记（二十）——全局搜索算法

一、引言

    前边的博文我们讨论过一些迭代算法，包括梯度方法、牛顿法、共轭梯度法和拟牛顿法，能够从初始点出发，产生一个迭代序列，但是往往这些迭代序列只能收敛到局部极小点，而且这些迭代方法需要计算目标函数的一阶导数(牛顿法还需计算二阶导数)。从本节开始，讨论一些全局搜索算法，这些方法只需要计算目标函数值，而不需要对目标函数求导。

二、Nelder-Mead 单纯形法(一)

    Nelder-Mead 单纯形法引入了单纯形的概念，不需要计算目标函数的梯度。所谓单纯形，指的是由$n$维空间中的n+1个点$\boldsymbol{p_0, p_1, \dots, p_n}$构成的几何形状，且满足：

$$\det\left[ \begin{array}{cccc} \boldsymbol{p_0} & \boldsymbol{p_1} & \dots & \boldsymbol{p_n} \\ 1 &1 & \dots & 1 \end{array} \right] \ne 0$$
这一条件的含义为 $\mathbb{R}$中的两个点不重合， $\mathbb{R^2}$中的三个点不共线， $\mathbb{R^3}$中的四个点不共面， 以此类推。这说明，单纯形包围的 $n$维空间具有有限的体积。
    针对函数$f(\boldsymbol{x})$, $\boldsymbol{x} \in \mathbb{R^n}$的最小化问题， 首先选择 $n+1$个点， 使其构成一个初始的单纯形。构造单纯形的一种方式为：选定初始点 $\boldsymbol{x}^{(0)} = \boldsymbol{p_0}$ ,按照下式产生其他点：
$$\boldsymbol{p_i} = \boldsymbol{p_0} + \lambda_i\boldsymbol{e_i}, i = 1,2,\dots,n$$
其中， $\boldsymbol{e_i}, i = 1,2,\dots,n$ 表示一组单位向量， 是空间 $\mathbb{R^n}$的标准基，系数 $\lambda_i$为正数， 可以按照优化问题的规模确定其大小。 按照这种方式产生的 $n+1$个点，正好能构成一个单纯形。初始单纯形确定之后，接下来就一步步对其进行修改，使得产生的单纯形能够朝着函数的极小点进行收敛。在每次迭代中，都针对单纯形的每个点计算目标函数值。对于函数 f <script type="math/tex" id="MathJax-Element-1764">f</script>最小化的优化问题而言，目标函数最大的点将被另外的点代替，持续开展这一迭代过程，直到单纯形收敛到目标函数极小点。
    下节将给出单纯形的更新规则。