第三章 线性搜索（一维搜索）

3.1 确定初始区间

Unimodal Function:
A function f of single variable x on an interval [a,b] is said to be unimodal if it has only one local minimum point in this interval.

确定初始区间的一般步骤：

1. 给定极小值点的一个初始估计点$x_0$，和一个初始步长h；令$x_1=x_0,f_1=f(x_1)$;
2. 令$x_2=x_0+h,f_2=f(x_2)$；
3. 比较$f_1$和$f_2$的值来决定搜索方向（向前或向后）；
   1. 如果$f_1>f_2$，令h=2h，将搜索步长变成原来的2倍，转向步骤4并向前搜索；
   2. 如果$f_1<f_2$，令h=-h，交换$x_1$和$x_2$、$f_1$和$f_2$的值；转向步骤4并向后搜索；
4. 令$x_3=x_0+h,f_3=f(x_3)$；
5. 比较$f_2$和$f_3$的值：
   1. 如果$f_2<f_3$，那么确定初始区间为$[x_1,x_3]$；
   2. 如果$f_2>f_3$，那么通过令h=2h增加步长，再令$x_1=x_2,x_2=x_3$，转向步骤4并且继续搜索。

一般初始步长h设为1。

3.2 缩小区间

线性搜索（一维搜索）是利用在给定方向上不断迭代搜索区间，来获取极小值点的方法。

缩短搜索区间的一般策略：

• 在当前区间[a,b]中任取两个点$x_1$和$x_2$：
  • 如果$f_1<f_2$，新搜索区间为$[a,x_2]$；
  • 如果$f_1>f_2$，新搜索区间为$[x_2,b]$；
  • 如果$f_1=f_2$，新搜索区间为$[x_1,x_2]$；
• 重复上述过程，搜索区间会逐渐缩小；
• 当$|b_n-a_n|<\epsilon$，或$|x_{n+1}-x_n|\le \epsilon$，$ \varepsilon$ 是给定的收敛精度，在这个区间内的点可以大致认为是该搜索方向上的极小值点。

区间内的任意的两个插入点可以缩短搜索区间。不同的插入点获取方式产生了不同线性搜索算法以及相应的区间缩小率。

区间缩小率：
当前区间长度和上一步区间长度的比值。
$${\tau }_k=\frac{b_k-a_k}{b_{k-1}-ak-1}(0<\tau <1)(k=1,2,\cdots )$$

3.3 黄金分割法（0.618法）

黄金分割算法（Golden Search Method）的步骤：

1. 初始化搜索区间$[a_0,b_0]$，并给定收敛精度$\epsilon$；

2. 令$a=a_0,b=b_0$；

3. 利用黄金分割法产生插入点：
   $$\begin{gathered} x_1=a+0.382(b-a)f_1=f(x_1) \\ {x}_2=a+0.618(b-a)f_2=f(x_2) \end{gathered}$$

4. 通过比较$f_1$和$f_2$的大小确定新的区间：

   1. 如果$f_1>f_2$，新的搜索区间为$[x_1,b]$，令$a=x_1,x_1=x_2,f_1=f_2$，记$N_0=0$;
   2. 如果$f_1<f_2$，新的搜索区间为$[a,x_2]$，令$b=x_2,x_2=x_1,f_2=f_1$,记$N_0=1$;

5. 收敛判断：当满足条件$b-a<\epsilon$时，结束算法，令$x^{\ast }=\frac{a+b}{2}$；否则转到步骤6；

6. 产生新的插入点：

   1. 若$N_0=0$，取$x_2=a+0.618(b-a),f_2=f(x_2)$；
   2. 若$N_0=1$，取$x_1=a+0.382(b-a),f_1=f(x_1)$；转到步骤4进行新的区间缩小

3.4 斐波那契法（Fibonacci Search Method）

斐波那契算法的步骤：

1. 初始化搜索区间$[a_0,b_0]$，并给定收敛精度$\epsilon$；
2. 令$a=a_0,b=b_0$；
3. 通过$F_n\ge \frac{b-a}{\epsilon }$确定n，$F_n $是斐波那契数列；
4. 令$\tau =\frac{F_{n-1}}{F_n}$，利用斐波那契法产生插入点：
   $$\begin{gathered} x_1=a+(1-\tau )(b-a)f_1=f(x_1) \\ {x}_2=a+\tau (b-a)f_2=f(x_2) \end{gathered}$$
5. 通过比较$f_1$和$f_2$的大小确定新的区间：
   1. 如果$f_1>f_2$，新的搜索区间为$[x_1,b]$，令$a=x_1,x_1=x_2,f_1=f_2$；
   2. 如果$f_1<f_2$，新的搜索区间为$[a,x_2]$，令$b=x_2,x_2=x_1,f_2=f_1$；
6. 1. 如果n=2，令$x^{\ast }=\frac{a+b}{2}$；
   2. 如果$n>2$，令n=n-1并转到步骤4继续搜索。

3.5 二次插值法（Powell’s Quadratic Interpolation Method)

二次插值法计算步骤：

1. 给定初始点$x_0$，初始步长h和收敛精度$\epsilon >0$；

2. 确定初始区间[a,b]和区间内的另外一个点c；

3. 将3个已知点按顺序排列：$x_1=a,x_2=c,x_3=b$，并令$f_1=f(x_1),f_2=f(x_2),f_3=f(x_3)$;

4. 计算中间插入点$x_p$及其函数值$f_p=f(x_p)$：
   math
   x_p=\frac{1}{2}*\frac{(x^2_2-x_32)f_1+(x_3^2-x_12)f_2+(x_1^2-x_22)f_3}{(x_2-x_3)f_1+(x_3-x)1)f_2+(x_1-x_2)f_3}

5. 收敛判断：若$|x_2-x_p|\leq \varepsilon, $，转步骤7；否则转步骤6；

6. 缩小区间：
   $$\begin{gathered} i.f_p\le f_2,x_p\le x_2,新搜索区间[x_1,x_2],x_3=x_2,x_2=x_p \\ ii.f_p\le f_2,x_p>x_2,新搜索区间[x_2,x_3],x_1=x_2,x_2=x_p \\ iii.f_p>f_2,x_p\le x_2,新搜索区间[x_p,x_3],x_1=x_p,f_1=f_p \\ iv.f_p>f_2,x_p>x_2,新搜索区间[x_1,x_p],x_3=x_p,f_3=f_p \end{gathered}$$

7. 若$f_p\le f_2$，令$x^{\ast }=x_p,f^{\ast }=f_p$;否则，令$x^{\ast }=x_2,f^{\ast }=f_2$结束一维搜索。

3.6 三次插值法（Davidon’s Cubic Interpolation Method）

三次插值算法的步骤：

1. 令$f_0=f(x_0)$、$G_0=f{}^{\prime }(x_0)$；检查$G_0<0$；选择k和$f_e$的值，并确定$\alpha$（通常k=2）；
2. 计算$f_{\alpha }=f(x_0+\alpha )$和$G_{\alpha }=f^{{}^{\prime }}(x_0+\alpha )$
3. 如果$G_{\alpha }>0$或者$f_{\alpha }>f_0$，转到步骤5；否则转到步骤4；
4. 令$\alpha =2\alpha$,计算新的$f_{\alpha }$和$G_{\alpha }$；
5. 利用三次插值公式计算在区间$[0,\alpha ]$中的插入点${\lambda }_m$：
   λ m = G 0 + Z + w G 0 + G α + 2 Z ∗ α 其 中 ： Z = G 0 + G α + 3 f 0 − f α α w = ( Z 2 − G 0 G α ) 1 2 α = m i n { k , − 2 ( f 0 − f e ) G 0 } \lambda_m=\frac{G_0+Z+w}{G_0+G_{\alpha}+2Z}*\alpha \\ 其中：Z=G_0+G_{\alpha}+3\frac{f_0-f_{\alpha}}{\alpha} \\ w=(Z^2-G_0G_{\alpha})^{\frac{1}{2}} \\ \alpha=min \{ k,\frac{-2(f_0-f_e)}{G_0} \} λm​=G0​+Gα​+2ZG0​+Z+w​∗α其中：Z=G0​+Gα​+3αf0​−fα​​w=(Z2−G0​Gα​)21​α=min{k,G0​−2(f0​−fe​)​}
6. 1. $f^{{}^{\prime }}(x_0+{\lambda }_m)\ge 0$或$f(x_0+\lambda )>f(x_0)$，新搜索区间$[0,{\lambda }_m]$；
   2. $f^{{}^{\prime }}(x_0+{\lambda }_m)<0$，新搜索区间$[{\lambda }_m,\alpha ]$；
7. 当${\lambda }_m<\epsilon$或搜索区间长度小于$\epsilon$时，停止搜索。