无约束最优化(四) 步长加速法

最优化方法与理论系统学习笔记

本系列所有文章来自东北大学张京老师的最优化方法与理论课程学习笔记，系列如下：
线性规划 (一) 线性规划的基本形式及各种概念
线性规划 (二) 单纯形法
无约束最优化(一) 最速下降法、Newton法、修正Newton法
无约束最优化(二) 共轭方向法与共轭梯度法
无约束最优化(三) 拟Newton法
无约束最优化(四) 步长加速法
无约束最优化(五) 最小二乘法问题的解法
约束最优化方法 (一) 最优性条件
约束最优化方法 (二) Zoutendijk容许方向法
约束最优化方法 (三) 外部罚函数法
约束最优化方法 (四) 乘子法

  步长加速法是由Hooke和Jeeves（1961年）给出的一种直接方法。对于变量数目较少的无约束极小化问题，这是一个程序简单又比较有效的方法。

基本思想

  步长加速法主要由交替进行的“探测搜索”和“模式移动”组成。前者是为了寻找当前迭代点的下降方向，而后者则是沿着这个有利的方向寻求新的迭代点。

  给出初始点$x_0$，以它作为探测搜索的出发点（称为参考点，用$r$表示，即$r=x_0$)，在其周围寻找比它更好的点$b$（称为基点），即$f(b)<f(r)$，以得到下降方向 $b-r$（称为模式）。然后从$b$出发沿模式$b-r$做直线搜索（称为模式移动）。$\tilde{r}=b+\alpha (b-r)$，$\tilde{r}$是从$b$出发，沿方向$b-r$移动$\alpha$个单位而得，其中$\alpha >0$（一般取$\alpha =1$或用直线搜索技术来确定）， 以获得新的参考点（新的迭代点）。然后再开始探测搜索，模式移动。交替进行的“探测搜索”和“模式移动”将使得迭代点逐渐地向极小点靠近。

探测搜索

已知：目标函数$f(x)$，步长向量$s={\left[s_1,s_2,\cdot \cdot \cdot ，s_n\right]}^T$，参考点$r={\left[r_1,r_2,\cdot \cdot \cdot ，r_n\right]}^T$。

1. 计算$f_r=f(r)$；置$b=r,f_b=f_r$。

2. 依次沿第$i=1,2,\cdot \cdot \cdot ，n$个坐标轴方向作直线搜索：计算$f_1=f(b+s_i{e}_i)$，$f_2=f(b-s_i{e}_i)$。以下三种情况必居其一：

   i) 若$f_1<f_b$，则置$b=b+s_i{e}_i$，$f_b=f_1$；

   ii) 若$f_2<f_b\le f_1$，则置$b=b-s_i{e}_i$，$f_b=f_2$；

   iii) 若$f_1⩾f_b$，$f_2⩾f_1$，则置$b$与$f_b$不变；

依次对$i=1,2,\cdot \cdot \cdot ，n$计算后，最终的$b$是从$r$出发以$s$为步长向量探测搜索的终点。当$f(b)<f(r)$时，探测搜索称为成功，此时必有$b\ne r$，即得到模式$b-r$；否则，探测搜索称为失败，此时未得到模式。

步长加速法

已知：目标函数$f(x)$，步长收缩系数的终止限$\epsilon$。

1. 选定初始点$x_0$，初始步长量$s_0$，置$r=x_0$，$b_0=x_0$，$c=1$，$w=0.5$(或0.1)。
2. 置$s=c{s}_0$。
3. 在点$r$处，以$s$为步长向量按探测搜索算法做探测搜索得$b$。
4. 若$f_b<f(r)$，则转5；否则，转8。
5. 做模式移动$r=2b-b_0$，并置$b_0=b$，$f_0=f_b$。
6. 在点$r$处，以$s$为步长向量按算法按探测搜索算法做探测搜索得$b$。
7. 若$f(b)<f(b_0)$，则转5；否者，置$r=b_0$，转3。
8. 若$c⩽\epsilon$则输出$r$，停止计算；否则，置$c=wc$，转2。

  注意：算法中的模式为$b-b_0$。当由3产生时，模式既为$b-r$；但当由6产生时，模式才为$b-b_0$这是加速模式。

  在迭代开始时，基点和参考点重合，并都在初始处，经过探测搜索，得到新的基点，然后再经过模式移动，得到新的参考点，再探测，再移动，探测搜索与模式移动交替进行下去，迭代点就将逐渐地向极小点靠近。

  I型探测搜索：出发点既是参考点，又是基点，目的是在基点周围构造一个模式。II型探测搜索：出发点单纯是参考点，目的是判别上次的模式移动是否成功，从而能否作加速移动。

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！