最优化学习笔记（一）——牛顿法(一维搜索方法)

一、一维搜索方法

讨论目标函数为一元单值函数$f: \mathbb{R} \to \mathbb{R}$时的最优化问题的迭代求解方法。

二、局部极小点的条件

n元实值函数$f$的一阶导数$Df$为：

$$Df \triangleq \lbrack \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \rbrack$$

函数$f$的梯度是$Df$的转置：$\nabla f = (Df)^T$, 顺便说一句，f 的二阶导数是黑塞矩阵。

下面只给出局部极小点位于约束集内部时的一阶必要条件。多元实值函数$f$在约束集$\Omega$上一阶连续可微，约束集$\Omega$是$\mathbb{R^n}$的子集。如果$x^*$是函数$f$在$\Omega$上的局部极小点，且是$\Omega$的内点，则有

$$\nabla f(x^*)=0$$
成立。

三、牛顿法

考虑一元单值函数在区间上求极小值的问题，此处假设函数连续二阶可微。下面构造一个经过点$(x^{(k)}, f(x^{(k)}))$二次函数,该函数在$x^{(k)}$的一阶和二阶导数分别为$f'(x^{(k)})$,$f''(x^{(k)})$.那么，构造的函数如下：

$$q(x) = f(x^{(k)}) + f'(x^{(k)})(x-x^{(k)}) + \frac{1}{2}f''(x^{(k)})(x-x^{(k)})^2$$
则有
$$q(x^{(k)}) = f(x^{(k)}) (1) \\ q'(x^{(k)}) = f'(x^{(k)}) (2) \\ q''(x^{(k)}) = f''(x^{(k)}) (3) \\ $$
$q(x)$可以认为是 $f(x)$的近似。因此，求函数 $f$的极小值点近似于求解$q$的极小值点，函数 $q$应该满足一阶必要条件：
$$0 = q'(x) = f'(x^{(k)}) + f''(x^{(k)})(x-x^{(k)})$$
令 $x = x^{(k+1)}$,可得：
$$x^{(k+1)} = x^{(k)} - \frac{f'(x^{(k)})}{f''(x^{(k)})}$$
上式即为牛顿法的迭代公式，当 $f''(x) > 0$时，对于区间内的 $x$都成立，牛顿法正常，反之当$f''(x) < 0$时，牛顿法可能收敛到极大值点。

后续将牛顿法扩展到目标函数为$f: \mathbb{R^n} \to \mathbb{R}$上。