非线性一维搜索

欢迎访问我的个人博客：青山白雪

非线性一维搜索

what？

沿某一已知方向求目标函数的极小点

思想

从某个初始点$x^{(0)}$出发，沿方向$p^{(0)}$进行搜索，得到目标值较小的点$x^{(1)}$;然后，从$x^{(1)}$出发，沿方向$p^{(1)}$再次进行一维搜索，得到目标函数更小的点$x^{(2)}$;依次进行下去。

在每次迭代寻求$x^{(k+1)}$时，在确定的搜索方向$p^{(k)}$上，求一个步长${\lambda }_k$,使目标函数下降最多，即$f(x^{(k+1)})<f(x^{(k)})$。

${\lambda }_k$为最优步长因子，每次求解是一个求一元函数的极值问题，即：
$$f(x^{(k)}+{\lambda }_k{p}^{(k)})=\underset{\lambda }{\min }f(x^{(k)}+\lambda p^{(k)})=min\phi (\lambda )$$
每一次一维搜索就是对函数$\phi (\lambda )$求极值，极值${\lambda }^{\ast }$就是本次迭代的最优步长。

因此求多元函数$f(x)=f(x_1,x_2,\cdots ,x_n)$的极值点问题，转化为一系列沿逐次确定方向求极值点的问题。

这里总结下更简单的形式：

一维函数寻优：
$$minf(x)x\in [a,b]$$
基本思想为

1. 确定$\phi (\lambda )$的搜索区间，即：函数极值点所在区间
2. 用逐步逼近的方法，确定函数极值点

实施步骤

有初始点$x_1$和步长$h$，确定搜索区间$[a,b]$的方法

1. 计算$f(x_1)$与$f(x_1+h)$

若$f(x_1)>f(x_1+h)$，

​ 极小点在试探点右侧，从$x_1$