最优性条件

最优性条件

无约束问题

一阶必要条件

设$f:D\subset {\mathbb{R}}^n\to R$在开集$D$上连续可微，若$x^{\ast }\in D$是局部极小点，则$\nabla f(x^{\ast })=0$

证明：设$x^{\ast }$是一个局部极小点，考虑序列$x_k=x^{\ast }-{\lambda }_k\nabla f(x^{\ast }),k\to \infty ,{\lambda }_k\to 0$

利用一阶Taylor展开式，对于充分大的$k$，有
$$0⩽f(x_k)-f(x^{\ast })=-{\lambda }_k\nabla f^T({\xi }_k)\nabla f(x^{\ast })$$
${\xi }_k$是$x_k$和$x^{\ast }$的凸组合，两边同时除以${\lambda }_k$，并取极限，由于$f\in C^1$，故有$0⩽-\Vert {\nabla f(x^{\ast })\Vert }^2$，显然，仅当$\nabla f(x^{\ast })=0$时，上式成立。

二阶必要条件

设$f:D\subset {\mathbb{R}}^n\to R$在开集$D$上连续可微，若$x^{\ast }\in D$是局部极小点，则$\nabla f(x^{\ast })=0,{\nabla }^{2}f(x^{\ast })⩾0$

证明：设$x^{\ast }$是一个局部极小点，考虑序列$x_k=x^{\ast }-{\lambda }_{k}d,k\to \infty ,{\lambda }_k\to 0$

由于$f\in C^2$和$\nabla f(x^{\ast })=0$(上个定理已证明)，故利用二阶Taylor展开式，对于充分大的$k$，有
$$0⩽f(x_k)-f(x^{\ast })=-\frac{1}{2}{\lambda }_k^2{d}^T\nabla f^T({\xi }_k)d$$
${\xi }_k$是$x_k$和$x^{\ast }$的凸组合，两边同时除以$\frac{1}{2}{\lambda }_k^2$，并取极限，由于$f\in C^2$，故有$d^T\nabla f^T(x^{\ast })d⩾0$

二阶充分条件

设$f:D\subset {\mathbb{R}}^n\to R$在开集$D$上二阶连续可微，则$x^{\ast }\in D$是是$f$的一个严格局部极小点的充分条件是$\nabla f(x^{\ast })=0,{\nabla }^{2}f(x^{\ast })$正定

证明：由于$\nabla f(x^{\ast })=0$，则由Taylor展开，对任意向量$d$,
$$f(x^{\ast }+\lambda d)=f(x^{\ast })+\frac{1}{2}{\lambda }^2{d}^T{\nabla }^{2}f(x^{\ast }+\theta \lambda d)d$$
由于${\nabla }^{2}f(x)$的连续性,$d^T{\nabla }^{2}f(x)d$也连续，$\exists \delta >0,x\in U_{\delta }(x^{\ast }),d^T{\nabla }^{2}f(x)d>0$

故可选择$\lambda$，使得$x^{\ast }+\lambda d\in U_{\delta }(x^{\ast })$，从而$d^T{\nabla }^{2}f(x^{\ast }+\theta \lambda d)d>0$，则$f(x^{\ast }+\lambda d)>f(x^{\ast })$，即$x^{\ast }$是严格局部极小点。

有约束问题

下降方向

定义 设 $f(x)$为定义在空间 ${\mathbb{R}}^n$ 上的连续函数, 点$x\in {\mathbb{R}}^n$ , 若对于方向 $d\in {\mathbb{R}}^n$ 存在数$\delta >0$使
$$f(x+\lambda d)<f(x),\forall \lambda \in (0,\delta )$$
成立，则称$d$为$f(x)$在$x$处的一个下降方向。

定理 设函数$f(x)$在点 $x$处连续可微, 如存在非零向量$d\in {\mathbb{R}}^n$ 使$\nabla f(x{)}^{T}d<0$成立，则$d$是$f(x)$在点 $xa$处的一个下降方向 .在点 $\overline{x}$处的所有下降方向的全体记为 $D(\overline{x})$ .

证明: 对于充分小的$\lambda >0$,将$f(\overline{x}+\lambda d)$在点 $\overline{x}$处展开有$f(\overline{x}+\lambda d)=f(\overline{x})+\lambda \nabla f(\overline{x}{)}^{T}d+o(\Vert \lambda d\Vert )$

由$\lambda >0$以及$\nabla f(x{)}^{T}d<0$ 知,存在 $\delta >0$, 使对任意$\lambda \in (0,\delta )$有$\lambda \nabla f(\overline{x}{)}^{T}d+o(\Vert \lambda d\Vert )<0$

结合这两式有$f(\overline{x}+\lambda d)<f(\overline{x}),\forall \lambda \in (0,\delta )$，这就证明了$d$是$f(x)$的下降方向

可行方向 设优化问题的可行域为$X\subseteq {\mathbb{R}}^n$,点 $\overline{x}\in X$为一可行点,$d\in {\mathbb{R}}^n$, 若对$\overline{x}$处的某一搜索方向$d$，存在实数$\delta >0$，使得任意步长$\lambda \in (0,\delta )$都满足$\overline{x}+\lambda d\in X$成立, 则称 $d$ 是在 $\overline{x}$ 处的一个可行方向(Feasible Direction).在点$\overline{x}$的所有可行方向的全体记为 $F(\overline{x})$ .这是一个锥，称为$F$在$x^{\ast }$处的可行方向锥。
$$\min f(x),s.t.\{\begin{array}{l}{g}_i(x)⩽0,i=1,2,\cdots ,m\\ h_i(x)=0,i=1,2,\cdots ,l\\ x\in X\end{array}$$

定义 E = { 1 , 𝟐 , ⋯ , 𝒍 } , 𝑰 = { 𝟏 , 𝟐 , ⋯ , 𝒎 } , 𝑰 ( 𝒙 ) = { 𝒊 ∣ 𝒈 𝒊 ( 𝒙 ) = 𝟎 , 𝒊 ∈ [ 𝟏 , 𝒎 ] } E = \{1, 𝟐, ⋯ ,𝒍 \}, 𝑰 =\{𝟏, 𝟐, ⋯ , 𝒎\},𝑰(𝒙) =\{𝒊|𝒈_𝒊(𝒙)=𝟎,𝒊∈[𝟏,𝒎]\} E={1,2,⋯,l},I={1,2,⋯,m},I(x)={i∣gi​(x)=0,i∈[1,m]}, 对任意$\mathbf{x}\in {\mathbf{R}}^{\mathbf{n}}$ ,集合$\mathbf{A}(\mathbf{x})=\mathbf{E}\cup \mathbf{I}(\mathbf{x})$称为积极约束，${\mathbf{g}}_{\mathbf{i}}(\mathbf{x})(\mathbf{i}\notin \mathbf{A}(\mathbf{x})$称为在𝒙点 的非积极约束，有时约束也用${\mathbf{c}}_{\mathbf{i}}(\mathbf{x})$表示

线性可行方向 $x^{\ast }\in X,d\in {\mathbb{R}}^n$ ,若$d^T\nabla h_i(x^{\ast })=0,d^T\nabla g_i(x^{\ast })⩽0,i\in I(x^{\ast })$,则称𝒅是𝑿在$x^{\ast }$处的线性化可行方向(Linearized feasible direction)。所有在$x^{\ast }$处的线性化可行方向记为 $\mathbf{LFD}({\mathbf{x}}^{\ast },\mathbf{X})$

序列可行方向 存在$d_k(k=1,2,\cdots )$和${\delta }_k(k=1,2,\cdots )$,使得$x^{\ast }+{\delta }_k{d}_k\in X,\forall k,d_k\to d,{\delta }_k\to 0$, 则极限方向𝒅称为SFD，所有SFD的集合称为$SFD(x^{\ast },X)$, 若SFD 还包含0向量，则称 T X ( x ∗ ) = S F D ( x ∗ , X ) ∪ { 0 } T_X(x^*)=SFD(x^*,X)\cup\{0\} TX​(x∗)=SFD(x∗,X)∪{0}为𝑿在$x^{\ast }$点的切锥 (Tangent cone)

引理：令$x^{\ast }\in X$,若所有的约束函数在$x^{\ast }$处都可微，则$FD(x^{\ast },X)\subseteq SFD(x^{\ast },X)\subseteq LFD(x^{\ast },X)$

证明：只需证明$\forall d\in FD(x^{\ast },X)⟹d\in SFD(x^{\ast },X)⟹d\in LFD(x^{\ast },X)$

$\forall d\in FD(x^{\ast },X),\exists \delta >0s.t.x^{\ast }+\lambda d\in X,\forall \lambda \in [0,\delta ]$，令$d_k=d,{\delta }_k=\frac{\delta }{2^k}(k=1,2,\cdots )$，则显然有$x^{\ast }+{\delta }_k{d}_k\in X,\forall kand{d}_k\to d,{\delta }_k\to 0$，所以$d\in SFD(x^{\ast },X)$。由$d$的任意性知$FD(x^{\ast },X)\subseteq SFD(x^{\ast },X)$。

$\forall d\in SFD(x^{\ast },X)$，如果$d=0$，显然$d\in LFD(x^{\ast },X)$。假定$d\ne 0$，由定义，存在序列$d_k(k=1,2,\cdots )$和${\delta }_k>0(k=1,2,\cdots )$使得$x^{\ast }+{\delta }_k{d}_k\in X,\forall k$成立且$d_k\to d\ne 0$和${\delta }_k\to 0$。
$$\begin{gathered} 0=h_i(x^{\ast }+{\delta }_k{d}_k)={\delta }_k{d}_k^T\nabla h_i(x^{\ast })+o(\Vert {\delta }_k{d}_k\Vert ),i\in E \\ 0⩾g_i(x^{\ast }+{\delta }_k{d}_k)={\delta }_k{d}_k^T\nabla g_i(x^{\ast })+o(\Vert {\delta }_k{d}_k\Vert ),i\in I(x^{\ast }) \end{gathered}$$
在上两式的两端同除${\delta }_k$，然后令$k\to \infty ,{\delta }_k\to 0$，得
$$\begin{gathered} d^T\nabla h_i(x^{\ast })=0,i\in E \\ {d}^T\nabla g_i(x^{\ast })⩽0,i\in I(x^{\ast }) \end{gathered}$$
故有$SFD(x^{\ast },X)\subseteq LFD(x^{\ast },X)$

约束规范

KT约束规范:$SFD=LFD$

约束规范条件

• LFD与SFD相似的条件
• 大多数约束规范确保这两个集合相等

条件1

( 1 ) ∇ h i ( x ∗ ) ( i ∈ E ) 线性无关 ( 2 ) 集合 S ∗ = { d ∣ d T ∇ h i ( x ∗ ) = 0 , i ∈ E ; d T ∇ g i ( x ∗ ) < 0 , i ∈ I ( x ∗ ) } 非空 \begin{array}{l} (1) \nabla h_i(x^*)(i\in E)线性无关\\ (2) 集合S^*=\{d|d^T\nabla h_i(x^*)=0,i\in E;d^T\nabla g_i(x^*)<0,i\in I(x^*) \}非空 \end{array} (1)∇hi​(x∗)(i∈E)线性无关(2)集合S∗={d∣dT∇hi​(x∗)=0,i∈E;dT∇gi​(x∗)<0,i∈I(x∗)}非空​

证明：对任给非零向量$d\in S^{\ast }$，必存在$d_i$组成 s p a n { ∇ h 1 ( x ∗ ) , ⋯   , ∇ h l ( x ∗ ) , d } {\rm{span}} \{\nabla h_1(x^*),\cdots,\nabla h_l(x^*),d\} span{∇h1​(x∗),⋯,∇hl​(x∗),d}的法空间的一组正交基。

一阶最优性条件

必要性条件

定义 D = D ( x ) = { d T ∇ f ( x ) < 0 , d ∈ R n } D=D(x)=\{d^T\nabla f(x) <0,d\in \mathbb{R}^n\} D=D(x)={dT∇f(x)<0,d∈Rn}为$f(x)$在$x$处的下/+。降方向集合，其中$d$称为$x$处的下降方向。

正则性假设： $SFD(x^{\ast })\cap D(x^{\ast })=LFD(x^{\ast })\cap D(x^{\ast })$

正则性假设只考虑序列可行方向集合和线性可行方向集合中下降方向的部分，这个条件比KT约束规范条件弱。

最优点$x^{\ast }$满足该点无可行下降方向！用线性可行方向来表达则为：
$$LFD(x^{\ast })\cap D(x^{\ast })=\left\{d|\begin{array}{c}{d}^T\nabla f(x^{\ast })<0\\ d^T\nabla c_i(x^{\ast })=0,i\in E\\ d^T\nabla c_i(x^{\ast })\le 0,i\in I(x^{\ast })\end{array}\right\}=\varnothing$$

一阶必要条件

设$x^{\ast }$是最优问题的一个局部最优解, 函数$f(x)$连续可微, 则有$SFD(x^{\ast })\cap D(x^{\ast })=\varnothing$成立

证明：对于任意的可行方向$d\in F(x^{\ast })$ , 我们证明 $d\notin D(x^{\ast })$ .对可行方向 $d\in F(x^{\ast })$ , 存在可行点序列 $x^{(k)}=x^{\ast }+{\lambda }_{k}d$ 收敛于 $x^{\ast }$ , 其中$d\ne 0,{\lambda }_k>0$, 且 $k\to \infty ,{\lambda }_k\to 0$ .由泰勒展开式有
$$f(x^{(k)})=f(x^{\ast }+{\lambda }_k{d}^{(k)})=f(x^{\ast })+{\lambda }_k\nabla f(x^{\ast }{)}^T{d}^{(k)}+o(\Vert {\lambda }_k{d}^{(k)}\Vert )$$
由于$x^{\ast }$是局部最优解，对充分大的k有$f(x^{(k)})⩾f(x^{\ast })$,由此得
$${\lambda }_k\nabla f(x^{\ast }{)}^T{d}^{(k)}+o(\Vert {\lambda }_k{d}^{(k)}\Vert )⩾0$$
在上式两端除以${\lambda }_k$，再令$k\to \infty$取极限得$\nabla f(x^{\ast }{)}^{T}d⩾0$，这就证明了$d\notin D(x^{\ast })$

引理1 设$x^{\ast }\in X$是问题P的局部极小点，如果目标函数和约束函数在$x^{\ast }$点都可微，则必有$d^T\nabla f(x^{\ast })\ge 0,\forall d\in SFD(x^{\ast },X)$

证明：由定义，$\forall d\in SFD(x^{\ast },X),\exists {\delta }_k>0,d_k,x^{\ast }+{\delta }_k{d}_k\in X$，且${\delta }_k\to 0,d_k\to d$,因而对充分大的$k$，$f(x^{\ast })\le f(x^{\ast }+{\delta }_k{d}_k)=f(x^{\ast })+{\delta }_k{d}_k^T\nabla f(x^{\ast })+o({\delta }_k)$ ，从而立即可得$d^T\nabla f(x^{\ast })\ge 0$

Farkas引理

给定任意n维向量$b_1,b_2,\cdots ,b_m$与$a_0$，则集合
F = { d ∣ d T a 0 < 0 , d T b i ⩽ 0 , i = 1 , ⋯   , m } F=\{d|d^Ta_0<0,d^Tb_i\leqslant 0,i=1,\cdots,m\} F={d∣dTa0​<0,dTbi​⩽0,i=1,⋯,m}
为空集的充要条件是，存在${\lambda }_i⩾0(i=1,\cdots ,m)$使得$a_0+\sum _{i=1}^m{\lambda }_i{b}_i=0$

证明：

充分性：设${\lambda }_i⩾0(i=1,\cdots ,m)$.对满足$d^T{b}_i⩽0,i=1,\cdots ,m$的$d$，有$d^T{a}_0=-\sum _{i=1}^m{\lambda }_i{d}^T{b}_i⩾0$，故$F$为空集

必要性：设 S = { a ∣ a = − ∑ i = 1 m λ i b i , λ i ⩾ 0 ( i = 1 , ⋯   , m ) } S=\{a|a=-\sum\limits_{i=1}^m \lambda_i b_i,\lambda_i\geqslant 0(i=1,\cdots,m)\} S={a∣a=−i=1∑m​λi​bi​,λi​⩾0(i=1,⋯,m)}

假设$a_0\notin S$，$S$为一凸锥，由凸分离定理可知$\exists d\ne 0,s.t.d^T{a}_0<\alpha <d^{T}a,\forall a\in S$，因为$0\in S$,故$d^T{a}_0<0$

$\forall \lambda >0$，均有$-\lambda b_i\in S$，故$-\lambda d^T{b}_i>\alpha ⟹d^T{b}_i<-\frac{\alpha }{\lambda }$，令$\lambda \to +\infty ⟹d^T{b}_i⩽0$

则$d\in F$，$F$不为空集。

推论

设$l,m$是两个非负整数，$a_0,a_i(i=1,\cdots ,l)$和$b_i(i=1,\cdots ,m)$是${\mathbb{R}}^n$中的向量 ,则线性方程组和不等式组：
$$\begin{array}{lcc}{d}^T{a}_i=0,i=1,\cdots ,l& & (1)\\ d^T{b}_i⩽0,i=1,\cdots ,m& & (2)\\ d^T{a}_0<0& & (3)\end{array}$$
无解当且仅当存在实数${\lambda }_i(i=1,\cdots ,l)$和非负实数${\mu }_i(i=1,\cdots ,m)$使得
$$a_0+\sum _{i=1}^l{\lambda }_i{a}_i+\sum _{i=1}^{l^{\prime }}{\mu }_i{b}_i=0(4)$$
证明一：$d^T{a}_i=0,i=1,\cdots ,l$可以写成$d^T{a}_i⩽0,-d^T{a}_i⩽0,i=1,\cdots ,l$

利用Farkas引理，存在${\lambda }_i^{+}⩾0,{\lambda }_i^{-}⩾0,{\mu }_i⩾0$使得
$$\begin{gathered} a_0+\sum _{i=1}^l{\lambda }_i^{+}{a}_i-\sum _{i=1}^l{\lambda }_i^{-}{a}_i+\sum _{i=1}^m{\mu }_i{b}_i=0 \\ {a}_0+\sum _{i=1}^l({\lambda }_i^{+}-{\lambda }_i^{-})a_i+\sum _{i=1}^m{\mu }_i{b}_i=0 \\ {a}_0+\sum _{i=1}^l{\lambda }_i{a}_i+\sum _{i=1}^m{\mu }_i{b}_i=0 \end{gathered}$$
证明二：

充分性：假设$a_0+\sum _{i=1}^l{\lambda }_i{a}_i+\sum _{i=1}^m{\mu }_i{b}_i=0$成立，且${\mu }_i⩾0(i=1,\cdots ,l^{\prime })$，则对任何$d$满足式(1)(2)都有
$$d^T{a}_0=-\sum _{i=1}^l{\lambda }_i{d}^T{a}_i-\sum _{i=1}^m{\mu }_i{d}^T{b}_i⩾0$$
从而式(3)不成立，(1)(2)(3)联立无解

必要性：假设不存在实数${\lambda }_i(i=1,\cdots ,l)$和非负实数${\mu }_i(i=1,\cdots ,m)$使得(4)成立。定义集合
S = { a ∣ a = − ∑ i = 1 l λ i a i − ∑ i = 1 m μ i b i , λ i ∈ R , μ i ⩾ 0 } S=\{ a\mid a=-\sum_{i=1}^{l}\lambda_i a_i-\sum_{i=1}^{m}\mu_i b_i,\lambda_i\in R,\mu_i\geqslant 0\} S={a∣a=−i=1∑l​λi​ai​−i=1∑m​μi​bi​,λi​∈R,μi​⩾0}
显然$S$是${\mathbb{R}}^n$中的闭凸锥，由于$a_0\notin S$，根据凸分离定理必存在$d\in {\mathbb{R}}^n$ ,使得$d^T{a}_0<\alpha <d^{T}a,\forall a\in S$，其中𝜶是某一常数。由于$0\in S$，所以$d^T{a}_0<0$

$\forall \mu >0$，均有$-\mu b_i\in S$，从而$-\mu d^T{b}_i>\alpha ,\forall \mu >0$，不等式两边同除$\mu$，然后令$\mu \to +\infty$ ，即得到$d^T{b}_i⩽0$

同样的，$\forall \lambda >0$均有$\lambda a_i\in S,-\lambda a_i\in S$，所以可证$d^T{a}_i⩾0$和$d^T{a}_i⩽0$，故$d^T{a}_i=0$

所以，向量$d$是(1)(2)(3)的一个解。

上面的引理说明线性系统(1)(2)(3)和线性表达式(4)必有且仅有一个成立，故该引理也被称为择一性引理。

KKT定理

设$x^{\ast }$是一个局部极小点，如果$SFD(x^{\ast },X)=LFD(x^{\ast },X)$，则必存在${\lambda }_i^{\ast },{\mu }_i^{\ast }$使得
$$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\lambda }^{\ast })=0⟹\nabla f(x^{\ast })+\sum _{i=1}^l{\lambda }_i^{\ast }\nabla h_i(x^{\ast })+\sum _{i=1}^m{\mu }_i^{\ast }\nabla g_i(x^{\ast })=0 \\ {\mu }_i^{\ast }⩾0,i\in I \\ {\mu }_i^{\ast }{g}_i(x^{\ast })=0,i\in I \\ {h}_i(x^{\ast })=0 \end{gathered}$$
证明：由定理1、$SFD=LFD$，可知如下线性系统无解
$$\begin{gathered} d^T\nabla h_i(x^{\ast })=0,i\in E \\ {d}^T\nabla g_i(x^{\ast })⩽0,i\in I(x^{\ast }) \\ {d}^T\nabla f(x^{\ast })<0 \end{gathered}$$
利用Farkas引理知存在${\lambda }_i^{\ast }\in R(i\in E),{\mu }_i^{\ast }⩾0(i\in I(x^{\ast }))$使得
$$\nabla f(x^{\ast })+\sum _{i\in E}{\lambda }_i^{\ast }\nabla h_i(x^{\ast })+\sum _{i\in I(x^{\ast })}{\mu }_i^{\ast }\nabla g_i(x^{\ast })=0$$

对于起作用不等式约束：$g_i(x^{\ast })=0,i\in I(x^{\ast })$

令${\lambda }_i^{\ast }=0,i\in I\backslash I(x^{\ast })$便得到${\lambda }_i^{\ast }{g}_i(x^{\ast })=0,i\in I$
$$\begin{gathered} \nabla f(x^{\ast })+\sum _{i\in E}{\lambda }_i^{\ast }\nabla h_i(x^{\ast })+\sum _{i\in I}{\mu }_i^{\ast }\nabla g_i(x^{\ast })=0 \\ {\lambda }_i^{\ast }{g}_i(x^{\ast })=0,i\in I \end{gathered}$$

如果问题是凸规划，则为充分必要条件

充分性条件

设$x^{\ast }\in X$，如果目标函数和约束函数在$x^{\ast }$点都可微，且
$$d^T\nabla f(x^{\ast })>0,\forall 0\ne d\in SFD(x^{\ast },X)\text{\hspace{1em}(1)}$$
则$x^{\ast }$是问题P的严格局部极小点.注意这里𝑳𝑭𝑫 ← 𝑺𝑭𝑫也成立。

证明：假定(1)成立，如果$x^{\ast }$不是局部严格极小点，则存在一个序列 { x k } ∈ X \{x_k\}\in X {xk​}∈X使得$f(x_k)⩽f(x^{\ast })$

且有$x_k\to x^{\ast },x_k\ne x^{\ast }(k=1,\cdots )$，定义$d_k=\frac{x_k-x^{\ast }}{\Vert x_k-x^{\ast }{\Vert }_2}$，由于 { ∥ d k ∥ } \{\Vert{d_k}\Vert\} {∥dk​∥}有界，故 { d k } \{d_k\} {dk​}有收敛子列，不妨设该子列为 { d k } \{d_k \} {dk​}，且$d_k\to d$。由可行方向的定义知$d\in SFD(x^{\ast },X)$。

根据定义即知$d\in SFD(x^{\ast },X)$
$$f(x_k)-f(x^{\ast })=(x_k-x^{\ast }{)}^T\nabla f(x^{\ast })+o(\Vert x_k-x^{\ast }\Vert )⩽0$$
$k\to \infty ,x_k\to x^{\ast }$取极限得$d^T\nabla f(x^{\ast })⩽0$，与条件矛盾

二阶最优性条件

由一阶充分条件知$\forall d\in SFD(x^{\ast }),d^T\nabla f(x^{\ast })>0$，则$x^{\ast }$是一个严格局部最优解；

由一阶必要条件知，若$\exists d\in SFD(x^{\ast }),d^T\nabla f(x^{\ast })<0$，即在$x^{\ast }$处有可行下降方向，则$x^{\ast }$不是局部最优解。

这就是说根据$x^{\ast }$处可行方向均是上升方向还是有下降方向即可判断$x^{\ast }$是否是最优解，但是对于$d^T\nabla f(x^{\ast })=0$的可行方向还无法判断。

定义 设$x^{\ast }$是KKT点,${\lambda }^{\ast }$是一相应的Lagrange乘子。如果$d$是$X$在$x^{\ast }$处的线性可行方向且
$${\lambda }_i^{\ast }{d}^T\nabla g_i(x^{\ast })=0,\forall i\in I(x^{\ast })$$
成立，则称$d$是$X$在$x^{\ast }$处的线性化零约束方向。称$x^{\ast }$处所有线性化零约束方向的集合记为$G(x^{\ast },{\lambda }^{\ast })$

注意到对不起作用的约束，有${\lambda }_i^{\ast }=0,i\in I\backslash I(x^{\ast })$

由KKT条件得$\nabla f(x^{\ast })=-\sum _{i\in E\cup I}{\lambda }_i^{\ast }\nabla c_i(x^{\ast })=0,d\in G(x^{\ast },{\lambda }^{\ast })$

另一种等价定义为

设$x^{\ast }\in X$是一个KKT点,${\lambda }^{\ast }$是一相应的Lagrange乘子如果$i\in E$或者${\lambda }_i^{\ast }>0$，则称$c_i(x^{\ast })$是在$x^{\ast }$点(相对于${\lambda }^{\ast }$)的强积极的。称
A + ( x ∗ , λ ∗ ) = E ∪ { i ∣ i ∈ I ( x ∗ ) , λ i ∗ > 0 } A_+(x^*,\lambda^*)=E\cup\{i|i\in I(x^*),\lambda_i^*>0\} A+​(x∗,λ∗)=E∪{i∣i∈I(x∗),λi∗​>0}
是在$x^{\ast }$处的强积极集合。不难发现
G ( x ∗ , λ ∗ ) = L F D ( x ∗ , X ) ∩ { d ∣ d ≠ 0 , d T ∇ c i ( x ∗ ) = 0 , i ∈ A + ( x ∗ , λ ∗ ) } = { d ∣ d ≠ 0 , d T ∇ c i ( x ∗ ) ⩾ 0 , λ i ∗ = 0 , i ∈ I ( x ∗ ) ; d T ∇ c i ( x ∗ ) = 0 , λ i ∗ > 0 , i ∈ I ( x ∗ ) ; d T ∇ c i ( x ∗ ) = 0 , i ∈ E } \begin{array}{l} G(x^*,\lambda^*)=LFD(x^*,X)\cap\{d|d\neq0,d^T\nabla c_i(x^*)=0,i\in A_+(x^*,\lambda^*)\}\\= \{d|d\neq0,d^T\nabla c_i(x^*)\geqslant 0,\lambda_i^*=0,i\in I(x^*); \\ \quad\qquad\qquad d^T\nabla c_i(x^*)= 0,\lambda_i^*>0,i\in I(x^*); \\ \quad\qquad\qquad d^T\nabla c_i(x^*)= 0,i\in E\} \end{array} G(x∗,λ∗)=LFD(x∗,X)∩{d∣d=0,dT∇ci​(x∗)=0,i∈A+​(x∗,λ∗)}={d∣d=0,dT∇ci​(x∗)⩾0,λi∗​=0,i∈I(x∗);dT∇ci​(x∗)=0,λi∗​>0,i∈I(x∗);dT∇ci​(x∗)=0,i∈E}​
定义 设$x^{\ast }$是KKT点,${\lambda }^{\ast }$是一相应的Lagrange乘子。如果存在序列$d_k(k=1,2,\cdots )$和${\delta }_k(k=1,2,\cdots )$使得
$$\begin{gathered} x^{\ast }+{\delta }_k{d}_k\in X \\ \sum _{i\in E\cup I}{\lambda }_i^{\ast }{c}_i(x^{\ast }+{\delta }_k{d}_k)=0 \end{gathered}$$
且有$d_k\to d,{\delta }_k\to 0$，则称$d$是在$x^{\ast }$处的序列零约束方向。称$x^{\ast }$处所有序列零约束方向的集合记为$S(x^{\ast },{\lambda }^{\ast })$

根据定义有
$$\begin{gathered} S(x^{\ast },{\lambda }^{\ast })\subseteq SFD(x^{\ast },X) \\ G(x^{\ast },{\lambda }^{\ast })\subseteq LFD(x^{\ast },X) \end{gathered}$$
可证$S(x^{\ast },X)\subseteq G(x^{\ast },{\lambda }^{\ast })$

二阶约束规范条件 $S(x^{\ast },X)=G(x^{\ast },{\lambda }^{\ast })$

必要性条件

设$x^{\ast }$是一个局部极小点，在$x^{\ast }$处正则性假设成立，从而存在${\lambda }^{\ast }$使KKT条件满足，若对该${\lambda }^{\ast }$，$S(x^{\ast },X)=G(x^{\ast },{\lambda }^{\ast })$，则必有$d^T{\nabla }_{xx}^{2}L(x^{\ast },{\lambda }^{\ast })d⩾0,\forall d\in G(x^{\ast },{\lambda }^{\ast })$

证明：

对任何$d\in S(x^{\ast },{\lambda }^{\ast })$，如果$d=0$则显然有$d^T{\nabla }_{xx}^{2}L(x^{\ast },{\lambda }^{\ast })d=0$.下面我们假定$d\ne 0$.由$S(x^{\ast },{\lambda }^{\ast })$的定义，必然存在序列 { d k } \{d_k\} {dk​}和 { δ k } \{\delta_k\} {δk​}使得$x_k=x^{\ast }+{\delta }_k{d}_k,{\delta }_k\to 0,d_k\to d$

由$S(x^{\ast },{\lambda }^{\ast })$的定义可知
$$L(x_k,{\lambda }^{\ast })=f(x_k)+{\lambda }^{\ast T}c(x_k)=f(x_k)$$
另一方面，由KKT条件有
$$\begin{gathered} L(x_k,{\lambda }^{\ast })=L(x^{\ast },{\lambda }^{\ast })+{\delta }_k{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast }{)}^T{d}_k+\frac{1}{2}{\delta }_k^2{d}_k^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^T{d}_k+o({\delta }_k^2) \\ ⟹f(x_k)=f(x^{\ast })+\frac{1}{2}{\delta }_k^2{d}_k^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^T{d}_k+o({\delta }_k^2) \end{gathered}$$
由于$x^{\ast }$是局部极小点，对充分大的$k$有$f(x_k)⩾f(x^{\ast })$，故
$$\begin{gathered} \frac{1}{2}{\delta }_k^2{d}_k^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^T{d}_k+o({\delta }_k^2)⩾0 \\ {d}_k^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^T{d}_k+\frac{o({\delta }_k^2)}{{\delta }_k^2}⩾0 \end{gathered}$$
令$k\to \infty ,{\delta }_k\to 0,d_k\to d$得
$$d^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^{T}d⩾0$$

充分性条件

设$x^{\ast },{\lambda }^{\ast }$是优化问题的KKT对，如果
$$d^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^{T}d>0,\forall 0\ne d\in G(x^{\ast },{\lambda }^{\ast })$$
则$x^{\ast }$是局部严格极小点。

证明: 假定$x^{\ast }$不是严格局部最优解，则存在可行点列 { x k } , x k → x ∗ \{x_k\},x_k\to x^* {xk​},xk​→x∗，使得$f(x_k)⩽f(x^{\ast })$

记$x_k=x^{\ast }+{\delta }_k{d}_k$ ，其中$\Vert d_k\Vert =1$，当$k\to \infty ,{\delta }_k\to 0$。由于 { ∥ d k ∥ } \{\Vert{d_k}\Vert\} {∥dk​∥}有界，故 { d k } \{d_k\} {dk​}有收敛子列，不妨设该子列为 { d k } \{d_k \} {dk​}，且$d_k\to d,d\in SFD(x^{\ast },{\lambda }^{\ast })$。由Talor展开式得
$$f(x_k)=f(x^{\ast })+{\delta }_k{d}_k^T\nabla f(x^{\ast })+o({\delta }_k)$$
而$f(x_k)⩽f(x^{\ast })$，则${\delta }_k{d}_k^T\nabla f(x^{\ast })+o({\delta }_k)⩽0$ 令$k\to \infty$，得
$$d^T\nabla f(x^{\ast })⩽0(1)$$
思路一： 分类讨论

1. 若$d\notin G(x^{\ast },{\lambda }^{\ast })$，则存在$i\in I(x^{\ast })$，使得${\lambda }_i^{\ast }>0,d^T\nabla c_i(x^{\ast })<0$

   从而$d^T\nabla f(x^{\ast })=-\sum {\lambda }_i^{\ast }{d}^T\nabla c_i(x^{\ast })>0$ ,矛盾

2. 若$d\in G(x^{\ast },{\lambda }^{\ast })$，由$x_k$的可行性得
   $$L(x_k,{\lambda }^{\ast })=f(x_k)+\sum {\lambda }_i^{\ast }{c}_i(x_k)⩽f(x_k)$$
   由KKT条件有
   $$L(x_k,{\lambda }^{\ast })=f(x^{\ast })+\frac{1}{2}{\delta }_k^2{d}_k^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^T{d}_k+o({\delta }_k^2)$$
   因为$f(x_k)⩽f(x^{\ast })$，故$\frac{1}{2}{\delta }_k^2{d}_k^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^T{d}_k+o({\delta }_k^2)⩽0$

   令$k\to \infty$，得$d^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast }{)}^{T}d⩽0$与假设矛盾

思路二： 证明$d\in G(x^{\ast },{\lambda }^{\ast })$

由$d\in SFD(x^{\ast },{\lambda }^{\ast })\subseteq LFD(x^{\ast },{\lambda }^{\ast })$，知$d$满足线性可行方向的条件，故由KKT定理得
$$d^T\nabla f(x^{\ast })=\sum _{i\in E\cup I}{\lambda }^{\ast }{d}^T\nabla c_i(x^{\ast })⩾0(2)$$
由(1)(2)式得
$$\begin{gathered} d^T\nabla f(x^{\ast })=0 \\ {\lambda }_i^{\ast }{d}^T\nabla c_i(x^{\ast })=0,\forall i\in I(x^{\ast }) \end{gathered}$$
知$d\in G(x^{\ast },{\lambda }^{\ast })$ ，再由思路一情况2的证明即可得到二阶充分性条件。