python实现牛顿法求解求解最小值（包括拟牛顿法）【最优化课程笔记】

什么是牛顿法

在第９章中介绍了一维搜索的牛顿法,什么是一维搜索的牛顿法？
首先介绍一下一维搜索

一维搜索

一维搜索其实也很简单，在许多迭代下降算法中，具有一个共同的特点，就是得到点x(k)后，需要按照某种规则确定一个方向d(k)，再从x(k)出发，沿着d(k)的方向上求目标函数的极小点。从而得到x(k+1)，重复以上做法，知道求得问题的解。这就是一维搜索。上面提到的d可以称作为步长因子。

一维搜索的方法有很多，归纳起来可以大体分成两类。

• 试探法　：　这种方法需要按照某种方式找试探点，通过一系列试探点来确定极小点。

• 函数逼近法，或是插值法　：　用某种简单的曲线逼近本来的函数曲线，通过求逼近函数的极小点来估计目标函数的极小点。

里面的种种门道也是颇为复杂，这里就讲讲一维搜索的牛顿法，这是函数逼近法的一种。

一维搜索的牛顿法

牛顿法的基本思想是，在极小点附近用二阶Taylor多项式近似目标函数f(x)，进而求出极小点的估计值。

假设，考虑问题

$$min f(x), x\in\Re.$$

令

$$\phi(x) = f(x^{(k)}) + f^{'}(x^{(k)})(x-x^{(k)}) + \frac{1}{2}f^{''}(x^{(k)})(x-x^{(k)})^2$$

又令

$$\phi^{'}(x) = f^{'}(x^{(k)})