约束优化问题的最优性条件（KKT条件）

等式约束问题

问题形式：
$$\begin{array}{ll}\min f(\mathbf{x}),& \mathbf{x}\in {\mathbf{R}}^n\\ \text{ s.t. }{h}_i(\mathbf{x})=0,& i=1,2,\cdots ,l\end{array}\text{\hspace{1em}(1)}$$
做问题（1）的拉格朗日函数：
$$L(\mathbf{x},\mathbf{\lambda })=f(\mathbf{x})-\sum _{i=1}^l{\lambda }_i{h}_i(\mathbf{x})$$
其中，$\lambda =({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_l{)}^T$为乘子向量。

等式的KKT条件

问题（1）取极小值的一阶必要条件，也就是通常所说的KKT条件（Karush-Kuhn-Tucker条件）：

定理 1 设问题（1）的局部极小点为：$x^{\ast }$,函数$f(x)和h_i(x)(i=1,2,\cdots ,l)$在$x^{\ast }$的某邻域连续可微，向量组$\nabla h_i(x^{\ast })$线性无关，则存在乘子向量$\lambda =({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_l{)}^T$使得:
$${\nabla }_{x}L\left({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast }\right)=0$$
即：
$$\nabla f\left({\mathbf{x}}^{\ast }\right)-\sum _{i=1}^l{\lambda }_i^{\ast }\nabla h_i\left({\mathbf{x}}^{\ast }\right)=0$$
问题（1）取极小值的二阶必要条件，需用到（2）式的拉格朗日函数的梯度和Hesse矩阵，即;
$$\begin{array}{l}\nabla L(\mathbf{x},\mathbf{\lambda })=\left(\begin{array}{c}{\nabla }_{\mathbf{x}}L(\mathbf{x},\mathbf{\lambda })\\ {\nabla }_{\mathbf{\lambda }}L(\mathbf{x},\mathbf{\lambda })\end{array}\right)=\left(\begin{array}{c}\nabla f(\mathbf{x})-{\sum }_{i=1}^l{\lambda }_i\nabla h_i(\mathbf{x})\\ -\mathbf{h}(\mathbf{x})\end{array}\right)\\ {\nabla }_{\mathbf{x}\mathbf{x}}^{2}L(\mathbf{x},\mathbf{\lambda })={\nabla }^{2}f(\mathbf{x})-{\sum }_{i=1}^l{\lambda }_i{\nabla }^2{h}_i(\mathbf{x})\end{array}$$
若考虑二阶充分性条件，还需要目标函数和约束函数都是二阶连续可微的。

定理 2 函数$f(x)和h_i(x)(i=1,2,\cdots ,l)$二阶连续可微，且存在$(x^{\ast },{\lambda }^{\ast })\in R^n\times R^l$使得$\nabla L\left({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast }\right)=0$。对$\forall d\ne 0\in R^n,\nabla h_i(x^{\ast }{)}^{T}d=0(i=1,2,...l)$，均有$d^T{\nabla }_{\mathbf{x}\mathbf{x}}^{2}L\left({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast }\right)$