漫步最优化三——优化算法的一般结构

$\textbf{你的出现，让我的眼中，心中有了蔚蓝的天空；}$
$\textbf{你的出现，让梦的城堡，殿堂留住美好的时光。}$
$\textbf{世界变化不停，}$
$\textbf{人潮川流不息，}$
$\textbf{我只想每个日出日落，}$
$\textbf{身边都有你。}$
$\qquad\qquad\qquad\qquad\quad\textbf{——畅宝宝的傻逼哥哥}$

大多数优化算法涉及一系列步骤，典型的模式如下：

$\textbf{第一步：}$

1. 令$k=0$且初始化$\textbf{x}_0$
2. 计算$F_0=f(\textbf{x}_0)$

$\textbf{第二步：}$

1. 令$k=k+1$
2. 利用近似过程计算$\textbf{x}_k$的变化量$\Delta\textbf{x}_k$，其中
   $$\Delta\textbf{x}_k^T=[\Delta x_1\ \Delta x_2\ \cdots \Delta x_n]$$
3. 令$\textbf{x}_k=\textbf{x}_{k-1}+\Delta\textbf{x}_k$
4. 计算$F_k=f(\textbf{x}_k)$与$\Delta F_k=F_{k-1}-F_{k}$

$\textbf{第三步：}$
判断是否收敛条件已经到达，例如判断$\Delta F_k$与(或)$\Delta\textbf{x}_k$，如果达到执行第四步；否则转到第二步。

$\textbf{第四步：}$

1. 输出$\textbf{x}^*=\textbf{x}_k$与$F^*=f(\textbf{x}^*)$
2. 结束

在第一步，用手头知识估计的值初始化向量$\textbf{x}_0$，好多情况下我们无法进行估计，这时候$\textbf{x}_0=\textbf{0}$。然后重复执行步骤2与3直到达到收敛条件，每执行一次步骤2，3就表示一次迭代，也就是说$k$是迭代次数。

当达到收敛调价时，执行第四步，这时候列向量

$$\textbf{x}^*=[x_1^*\ x_2^*\ \cdots x_n^*]=\textbf{x}_k$$

对应的$F$值为

$$F^*=f(\textbf{x}^*)$$

列向量$\textbf{x}^*$为最优，最小值点，$F^*$为目标函数的最优或最小值，$\textbf{x}^*,F^*$对构成了优化问题的解。

根据所用的优化问题与优化方法，有几种方法检查收敛。例如在任意两次迭代的$F_k$之差很小时，也就是

$$|\Delta F_k|=|F_{k-1}-F_k|<\varepsilon_F$$

结束算法，其中$\varepsilon_F$是目标函数的最优容忍度，同样的当所有变量的差很小时，也就是

$$|\Delta x_i|<\varepsilon_x\quad for\ i=1,2,\ldots,n$$

结束算法，其中$\varepsilon_x$时变量$x_1,x_2,\ldots,x_n$的最优容容忍度，第三种就是同时满足上面的两个条件。

我们主要考虑很好应用，可靠且计算量小的最小化算法，在数学规划中可靠算法用术语来说就是鲁棒算法。