约束优化问题的最优性条件（KKT条件）

等式约束问题

问题形式：
$$\begin{array}{ll}\min f(\mathbf{x}),& \mathbf{x}\in {\mathbf{R}}^n\\ \text{ s.t. }{h}_i(\mathbf{x})=0,& i=1,2,\cdots ,l\end{array}\text{\hspace{1em}(1)}$$
做问题（1）的拉格朗日函数：
$$L(\mathbf{x},\mathbf{\lambda })=f(\mathbf{x})-\sum _{i=1}^l{\lambda }_i{h}_i(\mathbf{x})$$
其中，$\lambda =({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_l{)}^T$为乘子向量。

等式的KKT条件

问题（1）取极小值的一阶必要条件，也就是通常所说的KKT条件（Karush-Kuhn-Tucker条件）：

定理 1 设问题（1）的局部极小点为：$x^{\ast }$,函数$f(x)和h_i(x)(i=1,2,\cdots ,l)$在$x^{\ast }$的某邻域连续可微，向量组$\nabla h_i(x^{\ast })$线性无关，则存在乘子向量$\lambda =({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_l{)}^T$使得:
$${\nabla }_{x}L\left({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast }\right)=0$$
即：
$$\nabla f\left({\mathbf{x}}^{\ast }\right)-\sum _{i=1}^l{\lambda }_i^{\ast }\nabla h_i\left({\mathbf{x}}^{\ast }\right)=0$$
问题（1）取极小值的二阶必要条件，需用到（2）式的拉格朗日函数的梯度和Hesse矩阵，即;
$$\begin{array}{l}\nabla L(\mathbf{x},\mathbf{\lambda })=\left(\begin{array}{c}{\nabla }_{\mathbf{x}}L(\mathbf{x},\mathbf{\lambda })\\ {\nabla }_{\mathbf{\lambda }}L(\mathbf{x},\mathbf{\lambda })\end{array}\right)=\left(\begin{array}{c}\nabla f(\mathbf{x})-{\sum }_{i=1}^l{\lambda }_i\nabla h_i(\mathbf{x})\\ -\mathbf{h}(\mathbf{x})\end{array}\right)\\ {\nabla }_{\mathbf{x}\mathbf{x}}^{2}L(\mathbf{x},\mathbf{\lambda })={\nabla }^{2}f(\mathbf{x})-{\sum }_{i=1}^l{\lambda }_i{\nabla }^2{h}_i(\mathbf{x})\end{array}$$
若考虑二阶充分性条件，还需要目标函数和约束函数都是二阶连续可微的。

定理 2 函数$f(x)和h_i(x)(i=1,2,\cdots ,l)$二阶连续可微，且存在$(x^{\ast },{\lambda }^{\ast })\in R^n\times R^l$使得$\nabla L\left({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast }\right)=0$。对$\forall d\ne 0\in R^n,\nabla h_i(x^{\ast }{)}^{T}d=0(i=1,2,...l)$，均有$d^T{\nabla }_{\mathbf{x}\mathbf{x}}^{2}L\left({\mathbf{x}}^{\ast },{\mathbf{\lambda }}^{\ast }\right)d>0$，则$x^{\ast }$是问题（1）的一个严格局部极小点。

不等式约束问题

问题形式：
$$\begin{array}{ll}\min f(\mathbf{x}),& \mathbf{x}\in {\mathbf{R}}^n\\ \text{ s.t. }{g}_i(\mathbf{x})\ge 0,& i=1,2,\cdots ,m\end{array}\text{\hspace{1em}(2)}$$
记可行域为 D = { x ∈ R n ∣ g i ( x ) ⩾ 0 , i = 1 , 2 , ⋯   , m } , \mathcal{D}=\left\{\boldsymbol{x} \in \mathbf{R}^{n} | g_{i}(\boldsymbol{x}) \geqslant 0, i=1,2, \cdots, m\right\}, D={x∈Rn∣gi​(x)⩾0,i=1,2,⋯,m}, 指标集 I = { 1 , 2 , ⋯   , m } \mathcal{I}=\{1,2, \cdots, m\} I={1,2,⋯,m}。

不等式约束问题的最优性条件需要用到有效约束，和非有效约束的概念。

问题（2）的一个可行点$\overline{x}\in \mathcal{D}$，使得$g_i(\overline{x})=0$，则称不等式约束$g_i(x)\ge 0$为$\overline{x}$的有效约束。反之，若有$g_i(\overline{x})>0$，则称不等式约束$g_i(x)\ge 0$为$\overline{x}$的非有效约束。称集合： I ( x ‾ ) = { i ∣ g i ( x ‾ ) = 0 } \mathcal{I} (\overline x) = \{i | g_i(\overline x) = 0 \} I(x)={i∣gi​(x)=0}为$\overline{x}$处的有效约束指标集，简称有效集。

下面的两个引理是研究不等式约束问题最优性条件的基础。
引理 1 (Farkas 引理) 设 $\mathbf{a},{\mathbf{b}}_i\in {\mathbf{R}}^n(i=1,2,\cdots ,r).$ 则线性不等式组
$${\mathbf{b}}_i^{\mathrm{T}}\mathbf{d}⩾0,i=1,2,\cdots ,r,\mathbf{d}\in {\mathbf{R}}^n$$
与不等式${\mathbf{a}}^{\mathrm{T}}\mathbf{d}⩾0$相容的充要条件是存在非负实数 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r,$ 使得 $\mathbf{a}={\sum }_{i=1}^r{\alpha }_i{\mathbf{b}}_i$.

引理 2 (Gordan 引理) 设 ${\mathbf{b}}_i\in {\mathbf{R}}^n(i=1,2,\cdots ,r).$ 线性不等式组
$${\mathbf{b}}_i^{\mathrm{T}}\mathbf{d}<0,i=1,2,\cdots ,r,\mathbf{d}\in {\mathbf{R}}^n$$
无解的充要条件是 ${\mathbf{b}}_i(i=1,2,\cdots ,r)$ 线性相关, 即存在不全为 0 的非负实数 ${\alpha }_i(i=1,2,\cdots ,r),$ 使得
$$\sum _{i=1}^r{\alpha }_i{\mathbf{b}}_i=0$$

下面的引理可以认为是一个集合最优性条件

引理 3 设 ${\mathbf{x}}^{\ast }$ 是不等式约束问题（2） 的一个局部极小点, I ( x ∗ ) = { i ∣ g i ( x ∗ ) = 0 , i = 1 , 2 , ⋯   , m } . \mathcal{I}\left(\boldsymbol{x}^{*}\right)=\left\{i | g_{i}\left(\boldsymbol{x}^{*}\right)=0, i=1,2, \cdots, m\right\} . I(x∗)={i∣gi​(x∗)=0,i=1,2,⋯,m}. 假设 $f(\mathbf{x})$ 和 $g_i(\mathbf{x})(i\in$$\mathcal{I}\left({\mathbf{x}}^{\ast }\right))$ 在 ${\mathbf{x}}^{\ast }$ 处可微, 且 $g_i(\mathbf{x})\left(i\in \mathcal{I}\backslash \mathcal{I}\left({\mathbf{x}}^{\ast }\right)\right)$ 在 ${\mathbf{x}}^{\ast }$ 处连续, 则问题(2)的可行方向集 F 与下降方向集 $\mathcal{S}$ 的交集是空集, 即 $\mathcal{F}\cap \mathcal{S}=\varnothing$
其中
$$\begin{array}{l}\mathcal{F}=\left\{\mathbf{d}\in {\mathbf{R}}^n|\nabla g_i{\left({\mathbf{x}}^{\ast }\right)}^{\mathrm{T}}\mathbf{d}>0,i\in \mathcal{I}\left({\mathbf{x}}^{\ast }\right)\right\}\\ \mathcal{S}=\left\{\mathbf{d}\in {\mathbf{R}}^n|\nabla f{\left({\mathbf{x}}^{\ast }\right)}^{\mathrm{T}}\mathbf{d}<0\right\}\end{array}$$

不等式约束的KKT条件

定理 8.3 (KKT 条件) 设 ${\mathbf{x}}^{\ast }$ 是不等式约束问题 (2) 的局部极小点, 有效约束集 I ( x ∗ ) = { i ∣ g i ( x ∗ ) = 0 , i = 1 , 2 , ⋯   , m } . \mathcal{I}\left(\boldsymbol{x}^{*}\right)=\left\{i | g_{i}\left(\boldsymbol{x}^{*}\right)=0, i=1,2, \cdots, m\right\} . I(x∗)={i∣gi​(x∗)=0,i=1,2,⋯,m}. 并设 $f(\mathbf{x})$和 $g_i(\mathbf{x})(i=1,2,\cdots ,m)$ 在 ${\mathbf{x}}^{\ast }$ 处可微. 若向量组 $\nabla g_i\left({\mathbf{x}}^{\ast }\right)\left(i\in \mathcal{I}\left({\mathbf{x}}^{\ast }\right)\right)$线性无关，则存在向量 ${\mathbf{\lambda }}^{\ast }={\left({\lambda }_1^{\ast },{\lambda }_2^{\ast },\cdots ,{\lambda }_m^{\ast }\right)}^{\mathrm{T}}$ 使得
$$\{\begin{array}{l}\nabla f\left({\mathbf{x}}^{\ast }\right)-{\sum }_{i=1}^m{\lambda }_i^{\ast }\nabla g_i\left({\mathbf{x}}^{\ast }\right)=0\\ g_i\left({\mathbf{x}}^{\ast }\right)⩾0,{\lambda }_i^{\ast }⩾0,{\lambda }_i^{\ast }{g}_i\left({\mathbf{x}}^{\ast }\right)=0,i=1,2,\cdots ,m\end{array}$$

一般约束问题

现在考虑下面的一般约束优化问题的最优性条件:
$$\begin{array}{ll}\min f(\mathbf{x}),& \mathbf{x}\in {\mathbf{R}}^n\\ \text{ s.t. }& h_i(\mathbf{x})=0,i=1,2,\cdots ,l\\ & g_i(\mathbf{x})⩾0,i=1,2,\cdots ,m\end{array}\text{\hspace{1em}(3)}$$
记可行域为 D = { x ∈ R n ∣ h i ( x ) = 0 , i ∈ E , g i ( x ) ⩾ 0 , i ∈ I } , \mathcal{D}=\left\{\boldsymbol{x} \in \mathbf{R}^{n} | h_{i}(\boldsymbol{x})=0, i \in \mathcal{E}, g_{i}(\boldsymbol{x}) \geqslant 0, i \in \mathcal{I}\right\}, D={x∈Rn∣hi​(x)=0,i∈E,gi​(x)⩾0,i∈I}, 指标集
E = { 1 , 2 , ⋯   , l } , I = { 1 , 2 , ⋯   , m } \mathcal{E}=\{1,2, \cdots, l\}, \mathcal{I}=\{1,2, \cdots, m\} E={1,2,⋯,l},I={1,2,⋯,m}
同理有拉格朗日函数：
$$L(\mathbf{x},\mathbf{\mu },\mathbf{\lambda })=f(\mathbf{x})-\sum _{i=1}^l{\mu }_i{h}_i(\mathbf{x})-\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})$$

把定理 1 和定理 3 结合起 来即 得到一般约束问题 (3) 的KKT 一阶必要条件。

定理 4 （KKT 一阶必要条件） 设 ${\mathbf{x}}^{\ast }$ 是一般约束问题的局部极小点，在 ${\mathbf{x}}^{\ast }$ 处的有效约束集为
S ( x ∗ ) = E ∪ I ( x ∗ ) = E ∪ { i ∣ g i ( x ∗ ) = 0 , i ∈ I } S\left(\boldsymbol{x}^{*}\right)=\mathcal{E} \cup \mathcal{I}\left(\boldsymbol{x}^{*}\right)=\mathcal{E} \cup\left\{i | g_{i}\left(\boldsymbol{x}^{*}\right)=0, i \in \mathcal{I}\right\} S(x∗)=E∪I(x∗)=E∪{i∣gi​(x∗)=0,i∈I}

并设 $f(\mathbf{x}),h_i(\mathbf{x})(i\in \mathcal{E})$ 和 $g_i(\mathbf{x})(i\in \mathcal{I})$ 在 ${\mathbf{x}}^{\ast }$ 处可微. 若向量组

$$\nabla h_i\left({\mathbf{x}}^{\ast }\right)(i\in \mathcal{E}),\nabla g_i\left({\mathbf{x}}^{\ast }\right)\left(i\in \mathcal{I}\left({\mathbf{x}}^{\ast }\right)\right)$$

线性无关, 则存在向量 $\left({\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }\right)\in {\mathbf{R}}^l\times {\mathbf{R}}^m,\text{ 其中 }{\mathbf{\mu }}^{\ast }={\left({\mu }_1^{\ast },{\mu }_2^{\ast },\cdots ,{\mu }_l^{\ast }\right)}^{\mathrm{T}},{\mathbf{\lambda }}^{\ast }={\left({\lambda }_1^{\ast },{\lambda }_2^{\ast },\cdots ,{\lambda }_m^{\ast }\right)}^{\mathrm{T}},$

使得
$$\{\begin{array}{l}c\nabla f\left({\mathbf{x}}^{\ast }\right)-{\sum }_{i=1}^l{\mu }_i^{\ast }\nabla h_i\left({\mathbf{x}}^{\ast }\right)-{\sum }_{i=1}^m{\lambda }_i^{\ast }\nabla g_i\left({\mathbf{x}}^{\ast }\right)=0\\ h_i\left({\mathbf{x}}^{\ast }\right)=0,i\in \mathcal{E}\\ g_i\left({\mathbf{x}}^{\ast }\right)⩾0,\\ {\lambda }_i^{\ast }⩾0,\\ {\lambda }_i^{\ast }{g}_i\left({\mathbf{x}}^{\ast }\right)=0,i\in \mathcal{I}\end{array}\text{\hspace{1em}(4)}$$
注

(1) 式 (4)称为 KKT 条件, 满足这一条件的点 ${\mathbf{x}}^{\ast }$ 称为 KKT点. $\left({\mathbf{x}}^{\ast },\left({\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }\right)\right)$ 称为 $\mathrm{KKT}$ 对, 其中 $\left({\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }\right)$ 称为问题的拉格朗日乘子. 通常 KKT 点、KKT 对和 KKT 条件可以不加区别的使用。
(2) ${\lambda }_i^{\ast }{g}_i\left({\mathbf{x}}^{\ast }\right)=0\left(i\in \mathcal{I}\left({\mathbf{x}}^{\ast }\right)\right)$ 称为互补性松他条件. 这意味着 ${\lambda }_i^{\ast }$和 $g_i\left({\mathbf{x}}^{\ast }\right)$ 中至少有一个必为 $0.$ 若二者中的一个为0, 而另一个严格大于0，则称为满足严格互补性松弛条件。

例子

例 考虑优化问题
$$\begin{gathered} minf(x)=-2x_1^2-x_2^2 \\ s.t.x_1^2+x_2^2-2=0 \\ -x_1^2+x_2^2\ge 0 \\ {x}_1^2,x_2^2\ge 0 \end{gathered}$$
试验证$x^{\ast }=(1,1{)}^T$为KKT点，并求出问题的KKT对。

解：计算

$$\nabla f\left({\mathbf{x}}^{\ast }\right)={\left(\begin{array}{l}-4x_1\\ -2x_2\end{array}\right)|}_{\mathbf{x}={\mathbf{x}}^{\ast }}=\left(\begin{array}{l}-4\\ -2\end{array}\right),\nabla h\left({\mathbf{x}}^{\ast }\right)=\left(\begin{array}{l}2\\ 2\end{array}\right),\nabla g_1\left({\mathbf{x}}^{\ast }\right)=\left(\begin{array}{c}-1\\ 1\end{array}\right)$$
令
$$\nabla f\left({\mathbf{x}}^{\ast }\right)-{\mu }^{\ast }\nabla h\left({\mathbf{x}}^{\ast }\right)-{\lambda }_1^{\ast }\nabla g_1\left({\mathbf{x}}^{\ast }\right)=0$$
解得 ${\mu }^{\ast }=-1.5,{\lambda }_1^{\ast }=1.$ 再令 ${\lambda }_2^{\ast }={\lambda }_3^{\ast }=0,$ 得
$$\{\begin{array}{l}\nabla f\left({\mathbf{x}}^{\ast }\right)-{\mu }^{\ast }\nabla h\left({\mathbf{x}}^{\ast }\right)-{\sum }_{i=1}^3{\lambda }_i^{\ast }\nabla g_i\left({\mathbf{x}}^{\ast }\right)=0\\ {\lambda }_i^{\ast }{g}_i\left({\mathbf{x}}^{\ast }\right)=0,{\lambda }_i⩾0,i=1,2,3\end{array}$$
这表明 ${\mathbf{x}}^{\ast }$ 是 $\mathrm{KKT}$ 点, $\left({\mathbf{x}}^{\ast },\left({\mu }^{\ast },{\mathbf{\lambda }}^{\ast }\right)\right)$ 是 $\mathrm{KKT}$ 对, 其中 ${\mu }^{\ast }=-1.5，{\mathbf{\lambda }}^{\ast }=(1,0,0{)}^{\mathrm{T}}$。

注记

• 一般而言，问题（3）的KKT点不一定是局部极小点，但当问题是凸优化问题时，KKT点、局部极小点、全局极小点是等价的。

• 凸优化问题是指（3）中的目标函数$f(x)$是凸函数，约束条件$h_i(x)$是线性函数，$g_i(x)$是凹函数。

• 定理 5 $\left({\mathbf{x}}^{\ast },{\mu }^{\ast },{\mathbf{\lambda }}^{\ast }\right)$是凸优化问题的KKT点，则$x^{\ast }$必为该问题全局极小点。

• 鞍点不仅是KKT点，也是全局极小点。鞍点一定是KKT点，反之不一定。