陈宝林《最优化理论与算法》超详细学习笔记 （八）————最优性条件

无约束问题的极值条件

考虑非线性规划问题
$$minf(x),x\in E^n$$
其中$f(x)$是定义在$E^n$上的实值函数，这就是一个无约束极值问题（UNLP）。

必要条件

Th7.1.1(非极小点的充分条件) 设f(x)在点x处可微, 若存在方向$d(\ne 0)\in R^n,$ 使得 $\nabla f{\left(x^{\ast }\right)}^{\prime }d<0,$ 则存在 $\delta >0,$
使得对任意 $\lambda \in (0,\delta ),$有 $f\left(x^{\ast }+\lambda d\right)<f\left(x^{\ast }\right).$ 此时,我们称
$d$ 为f(x)在x的一个下降方向。

证明根据一阶Taylor展式移项后除以$\lambda$证明。
由此，我们可以得到极小值点的必要条件：
Th7.1.2-3.设x*处是问题(UNLP)的局部极小点.
(1)当 $f(\mathbf{x})$ 在 $x^{\ast }$ 可微时,则梯度 $\nabla f\left(x^{\ast }\right)=0$；
(2) 当 $f(x)$ 在 $x^{\ast }$ 二次可微时. 则 $\nabla f\left(x^{\ast }\right)=0$ 且 Hessian 矩阵 $\mathrm{H}\left(x^{\ast }\right)$ 是半正定的.
证明（1）根据定理7.1.1即可证明；
证明（2）根据二阶Taylor展式移项后除以${\lambda }^2$证明。

二阶充分条件

Th7.1.4 (二阶充分条件). 假设 $f(x)$ 在 $x^{\ast }$ 点二次可微, 若 $\nabla f\left(x^{\ast }\right)=0$ 且. Hessian 矩阵 $\mathbf{H}\left({\mathbf{x}}^{\ast }\right)$ 是正定的, 则 $x^{\ast }$ 是(UNLP) 的一个(严格)局部极小点

充要条件

Th7.1.5 (充要条件). 假设 $f(x):R^n\to R$ 是 可微的凸函 数, 则 $x^{\ast }$ 是(UNLP)的全局最小点当且仅当 $\nabla f\left(x^{\ast }\right)=0$.
证明必要性根据Th7.1.2，证明充分性根据$\nabla f\left(x^{\ast }\right)(x-x^{\ast })=0$和凸函数的定义即可证明.

约束极值问题的最优性条件

可行方向：
设 $x\in \mathrm{c}lS,d\in R^n.$ 若 $ヨ\delta >0,$ 使得 $\forall \lambda \in [0,\delta ],x+\lambda d\in S$
则称d为集合S在点x的一个可行方向.集合S在x点的所有可
行方向集合称为S在x点的可行方向雉, 记为D(或FD(x,S))
D = { d ∣ d ≠ 0 , x ∈ c l S , ∃ δ > 0 , \boldsymbol{D}=\{\boldsymbol{d} \mid \boldsymbol{d} \neq 0, \boldsymbol{x} \in \boldsymbol{c} \boldsymbol{l} \boldsymbol{S}, \exists \delta>0, D={ d∣