最优化问题——一维搜索(二)

最优化问题——一维搜索(二)

在前面的的文章最优化问题——一维搜索(一)中，我们主要介绍了一维搜索中精确搜索的缩小区间法，具体的算法包括黄金分割法，斐波那契法，中点法，以及确定初始区间的进退法。
在本篇文章中，我们主要介绍一维搜索的牛顿法和插值法以及非精确的一维搜索。

1. 牛顿法

1.1 牛顿的基本思路

与之前介绍的缩小区间法的思路不同，牛顿法使用的是函数逼近的基本原理，看过之前的非线性规划文章的读者可知，通过泰勒展开式，我们可以将函数变成一阶逼近和二阶逼近的形式。而在一维搜索中，利用插值函数来逼近所需要求解的函数，把插值函数的极小点作为迭代点。常见的算法包括三点二次插值，两点二次插值和三次插值多项式。

1.2 牛顿法的基本思路和公式推导

牛顿法是函数逼近的一个代表算法。首先，对于函数$\phi (\lambda )$进行二次的泰勒展开式：

$$\phi (\lambda )=\phi ({\lambda }_k)+{\phi }^{\prime }({\lambda }_k)(\lambda -{\lambda }_k)+\frac{1}{2}{\phi }^{\prime \prime }({\lambda }_k)(\lambda -{\lambda }_k{)}^2+O(\lambda -{\lambda }_k{)}^2$$

这里，我们取二阶导数，省略高次项得到：

$$q_k(\lambda )=\phi ({\lambda }_k)+{\phi }^{\prime }({\lambda }_k)(\lambda -{\lambda }_k)+\frac{1}{2}{\phi }^{\prime \prime }({\lambda }_k)(\lambda -{\lambda }_k{)}^2$$

下一步，我们使用$q_k(\lambda )$作为原函数$\phi ({\lambda }_k)$的逼近。当${\phi }^{\prime \prime }({\lambda }_k)>0$的时候，我们对$q_k(\lambda )$求导，则其驻点就是极小点：$q_k(\lambda )$的一阶导数为：
$$q_k^{\prime }(\lambda )={\phi }^{\prime }({\lambda }_k)(\lambda -{\lambda }_k)+{\phi }^{\prime \prime }({\lambda }_k)(\lambda -{\lambda }_k)=0$$
进一步，我们给出对于第k+1轮的λ的更新公式为：
λ k + 1 = λ k − φ ′ ( λ k ) / φ ′ ′ ( λ k ) λ_{k+1}=λ_k-φ'(λ_k)/φ''(λ_k) λk+1​=λk​−φ′(λ