无约束优化最优性条件

1、一阶必要条件

定义1：设$f(x)$在开集$D$上连续可微，若$x^{\ast }\in D$是$$\underset{x\in {\mathbb{R}}^n}{\min }f(x)$$
的局部最优解，则$g(x^{\ast })=0$

证明：任给$d\in {\mathbb{R}}^n$,由局部最优解的定义，对任意充分小的数$t>0$,有
$$f(x^{\ast })\le f(x^{\ast }+td)=f(x^{\ast })+t\nabla f(x^{\ast }{)}^{T}d+o(t)$$
不等式的两端同时减去$f(x^{\ast })$后除以$t$,并令$t\to 0^{+}$可得$\nabla f(x^{\ast }{)}^{T}d\ge 0,\forall d\in {\mathbb{R}}^n$
特别地令$d=-\nabla f(x^{\ast })$得$-\Vert \nabla f(x){\Vert }^2=-\nabla f(x^{\ast }{)}^T\nabla f(x^{\ast })\ge 0$,
从而$\nabla f(x)=0$
注：我们称所求的点$x^{\ast }$为函数$f$的稳定点(驻点)，上述结果也表明无约束优化的局部最优解必是目标函数的稳定点。

2、二阶必要条件

定义2：设$f(x)$在开集$D$上二阶连续可微，若$x^{\ast }\in D$是$$\underset{x\in {\mathbb{R}}^n}{\min }$$
的局部最优解，则$g(x^{\ast })=0$,$G(x^{\ast })$是半正定矩阵

证明：$g(x^{\ast })=0$,上面已经证明，我们只需证明$G(x^{\ast })$半正定矩阵
任给$d\in {\mathbb{R}}^n$,由局部最优解的定义，对任意充分小的数$t$,有
$$f(x^{\ast })\le f(x^{\ast }+td)=f(x^{\ast })+\frac{1}{2}{t}^2{d}^{T}G(x^{\ast })d+o(t^2)$$
不等式的两端同时减去$f(x^{\ast })$后除以$t$,并令$t\to 0^{+}$可得$p^{T}G(x^{\ast })p\ge 0$,故$G(x^{\ast })$半正定矩阵.
注：鞍点满足上述条件，但是鞍点既不是极大值点也不是极小值点。

3、二阶充分条件

定义3：设$f(x)$在开集$D$上二阶连续可微，$x^{\ast }\in D$是
$$\underset{x\in {\mathbb{R}}^n}{\min }f(x)$$
的局部极小值点的充分条件是$g(x^{\ast })=0$,$G(x^{\ast })$是正定矩阵
证明：对任意向量$d$和$\epsilon$,有
$$f(x^{\ast }+\epsilon d)=f(x^{\ast })+\frac{1}{2}{d}^{T}G(x^{\ast }+\theta \epsilon d)d$$
其中$\theta \in (0,1)$.由于$G(x^{\ast })$正定和$f(x)$二阶导数矩阵连续，故存在
$\delta >0$,使得$G(x^{\ast }+\epsilon d)$在$\Vert \epsilon d\Vert \le \delta$
范围内正定，所以，$f(x^{\ast }+\epsilon d)>f(x^{\ast })$,从而定理成立

注：$G(x^{\ast })$的正定性保证了函数在$x^{\ast }$处是严格凸的，$g(x^{\ast })=0$保证函数
$f(x)$在$x^{\ast }$处是稳定点.

4、无约束优化凸函数的极值点

定义4：设凸函数$f(x)$在开集$D$上连续可微，则$f$的局部极小值点也是其全局极小值点。而且，$x^{\ast }$是问题
$$\underset{x\in {\mathbb{R}}^n}{\min }f(x)$$
的充要条件$g(x^{\ast })=0$.

证明：先证明$f$的局部极值点也是全局极值点.设$x^{\ast }$是$f$的局部极值点。则存在$x^{\ast }$一个邻域$U(x^{\ast })$,使得
$$f(x)\ge f(x^{\ast }),\forall x\in U(x^{\ast })$$
对任意的$x\in {\mathbb{R}}^n$,当$\alpha >0$充分小时，$x^{\ast }+\alpha (x-x^{\ast })\in U(x^{\ast })$,则有
$$f(x^{\ast })\le f(x^{\ast }+\alpha (x-x^{\ast }))=f(\alpha x+(1-\alpha )x^{\ast })\le \alpha f(x)+(1-\alpha )f(x^{\ast })$$
即有$f(x)\ge f(x^{\ast })$,故当$f(x)$为凸函数时，局部极小值点也是全局极小值点。
再证$f(x)$为凸函数，$x^{\ast }$为极小值点的充要条件是$g(x^{\ast })=0$.
必要性由前面可知,是显然的。
由$f(x)$在$D$上为凸函数,即有
$$f(x)\ge f(x^{\ast })+g(x^{\ast }{)}^T(x-x^{\ast })=f(x^{\ast }),\forall x\in D$$
这表明$x^{\ast }$为整体极小值点


参考书籍
《数值最优化算法与理论》——李董辉
注：参考了倪勤老师与袁亚湘老师的书籍，关于上面的定理的证明虽然本质都差不多，但是个人感觉有点繁琐，所以选择了李董辉老师书上的证明，简洁明了。