【最优化方法】精确一维搜索方法

0.618 法

0.618 法是一种一维线性搜索的算法，也称为黄金分割法（Golden Section Method）。它是一种迭代方法，用于确定目标函数在一个区间上的最小值。

以下是 0.618 法的基本步骤：

1. 选取初始数据，确定初始搜索区间 $[a_0,b_0]$ 和精度要求 $\delta >0$. 计算最初两个试探点 ${\lambda }_0,{\mu }_0$​，
   $${\lambda }_0=a_0+0.382(b_0-a_0),$$$${\mu }_0=a_0+0.618(b_0-a_0).$$

   • 计算 $\phi ({\lambda }_0)$ 和 $\phi ({\mu }_0)$，令 $k=0.$

2. 比较目标函数值。

   • 若 $\phi ({\lambda }_k)>\phi ({\mu }_k)$，转步 3；否则转步 4.

3. 若$b_k-{\lambda }_k⩽\delta$，则停止计算，输出${\mu }_k$​；否则，令
   $$a_{k+1}:={\lambda }_k,b_{k+1}:=b_k,{\lambda }_{k+1}:={\mu }_k$$$$\phi ({\lambda }_{k+1}):=\phi ({\mu }_k),{\mu }_{k+1}:=a_{k+1}+0.618(b_{k+1}-a_{k+1}).$$

   • 计算 $\phi ({\mu }_{k+1})$，转步 5.

4. 若${\mu }_k-a_k⩽\delta$，则停止计算，输出${\lambda }_k$；否则，令
   $$a_{k+1}:=a_k,b_{k+1}:={\mu }_k,{\mu }_{k+1}:={\lambda }_k,$$$$\phi ({\mu }_{k+1}):=\phi ({\lambda }_k),{\lambda }_{k+1}:=a_{k+1}+0.382(b_{k+1}-a_{k+1}).$$

   • 计算 $\phi ({\lambda }_{k+1})$，转步 5.

5. $k:=k+1$，转步 2.

0.618 法的优点之一是，每次迭代都将搜索区间缩小为当前区间的 0.618 倍，因此可以很快地接近最小值。此方法通常适用于连续单峰函数的最小值搜索问题。

示例

用 0.618 法解下述函数，搜索区间宽度到 $\epsilon =0.5$.
$$\underset{t\ge 0}{\min }\phi (t)=t^3-2t+1$$
根据经验，选择初始搜索区间为 $[0,3]$（单谷区间）.

计算过程：
$$\begin{array}{rrrrrrr}& a& \lambda & \mu & b& \phi (\lambda )& \phi (\mu )\\ 0& 0& 1.146& 1.854& 3& 0.2131& 3.6648\\ 1& 0& 0.708& 1.146& 1.854& -0.0611& 0.2131\\ 2& 0& 0.438& 0.708& 1.146& 0.2082& -0.0611\\ 3& 0.438& 0.708& 0.876& 1.146& -0.0611& -0.0798\end{array}$$
最后输出 $t={\mu }_3=0.876$.

Newton 法

一维线性搜索是在优化算法中常用的一种方法，用于确定在给定搜索方向上的合适步长，使得目标函数在该方向上能够有明显的下降。Newton法（牛顿法）是一种使用二阶导数信息的优化方法，它在一维线性搜索中也可以应用。下面是一维线性搜索的 Newton 法的基本步骤：

1. 选择初始点 $x_0$： 在搜索方向上选择一个初始点。

2. 计算目标函数的一阶和二阶导数：

   • 计算目标函数 $f(x)$ 在当前点 $x_k$ 的一阶导数 $f^{\prime }(x_k)$ 和二阶导数 $f^{\prime \prime }(x_k)$。

3. 计算搜索步长：

   • 计算一维搜索的步长 $t_k$，通常使用牛顿法的更新公式：
     $$t_k=-\frac{f^{\prime }(x_k)}{f^{\prime \prime }(x_k)}$$

4. 更新当前点：

   • 使用步长 $t_k$ 更新当前点： $x_{k+1}=x_k+t_k$

5. 重复迭代：

   • 重复步骤 2-4，直到满足停止条件，例如梯度足够小或达到最大迭代次数。

需要注意的是，上述步骤中的计算是在一维搜索方向上进行的，因此 $f^{\prime }(x_k)$ 和 $f^{\prime \prime }(x_k)$ 分别是一维的梯度和二阶导数。在牛顿法中，使用二阶导数信息可以更准确地确定搜索步长，因此相较于一些基于一阶导数信息的方法，牛顿法可能在一维搜索中更快地收敛。

总的来说，一维线性搜索的 Newton 法是一种有效的优化方法，特别适用于目标函数具有二阶导数信息的情况。

示例

用 Newton 法求 $\min \phi (t)={\int }_0^t\arctan xdx$ 的最优解.

解：
$${\phi }^{\prime }(t)=\arctan t,\frac{1}{{\phi }^{\prime \prime }(t)}=1+t^2,t_{k+1}=t_k-{\phi }^{\prime }(t_k)\frac{1}{{\phi }^{\prime \prime }(t_k)}$$
选择 $t_1=1$，开始计算，搜索精度取 $\epsilon =0.01$.
$$\begin{array}{rrrr}k& t_k& {\phi }^{\prime }(t_k)& 1/{\phi }^{\prime \prime }(t_k)\\ 1& 1& 0.7854& 2\\ 2& -0.5708& -0.5187& 1.3258\\ 3& 0.1169& 0.1164& 1.0137\\ 4& -0.0011& -0.0011& \end{array}$$
最后输出 $t_k=-0.0011$.